De olympiska spelen 1976 blev skadade av bojkot och anklagelser om narkotika. Innan de olympiska spelen turnerade Nya Zeelands rugbylag i Sydafrika (fortfarande fast i apartheid) och spelade mot dem. På grund av detta hotade mycket av resten av Afrika IOC att förbjuda Nya Zeeland från de olympiska spelen, annars skulle de bojkottera spelen. Eftersom IOC inte hade någon kontroll över att spela rugby, försökte IOC att övertyga afrikanerna att inte använda OS som vedergällning. I slutändan bojkottade 26 afrikanska länder spelen. Taiwan var också uteslutet från spelen när Kanada inte skulle erkänna dem som Kina.
Droganklagelserna gick i drift vid dessa OS. Även om de flesta av anklagelserna inte bevisades, anklagades många idrottare, särskilt de östtyske kvinnorsimmarna, för att använda anabola steroider. När Shirley Babashoff (USA) anklagade sina rivaler för att använda anabola steroider på grund av deras stora muskler och djupa röster svarade en tjänsteman från det östtyske teamet: "De kom för att simma, inte till sjunga."
Spelen var också en ekonomisk katastrof för Quebec. Sedan Quebec byggde, byggde och byggde för spelen, spenderade de den enorma siffran på 2 miljarder dollar och placerade dem i skuld i årtionden. På en mer positiv anmärkning såg dessa olympiska spel upp den rumänska gymnasten Nadia Comaneci som vann tre guldmedaljer. Cirka 6000 idrottare deltog, representerande 88 länder.