W pierwszych różowych igrzyskach, zorganizowanych w 1982 r. w San Francisco, wzięło udział 1350 sportowców z 12 krajów. 16 lat później, na pierwszy tydzień sierpnia do Amsterdamu przyjechało ich już ponad 15 tysięcy z 66 różnych państw. Na nowym stadionie słynnego Ajaxu uczestników i widzów witał burmistrz miasta, przez łącza satelitarne pozdrawiała ich Martina Navratilova, na miejscu śpiewała słynna zwyciężczyni tegorocznego konkursu Eurowizji, izraelska transseksualistka Dana International. Holenderska telewizja publiczna zamieściła półtoragodzinną transmisję na żywo z uroczystości otwarcia.
Igrzyska wymyślił lekarz Tom Waddell, członek ekipy amerykańskich dziesięcioboistów na olimpiadzie w Mexico City w 1968 r. Zaczęło się od problemów, gdyż Amerykański Komitet Olimpijski wygrał sprawę w sądzie, w wyniku której zakazano Waddellowi używania przymiotnika "olimpijski". Z Gay Olympic Games zrobiło się więc Gay Games i dosłownie na chwilę przed otwarciem organizatorzy musieli zmieniać wszelkie dokumenty, reklamy, druki, plakietki. Ich budżet został za to dofinansowany przez urząd miasta San Francisco, nieformalnej stolicy amerykańskich homoseksualistów.
Kolejne igrzyska ponownie odbyły się na Zachodnim Wybrzeżu, by w 1990 r. przenieść się do Vancouver w Kanadzie. Nie doczekał tego już sam Waddell, który trzy lata wcześniej zmarł na AIDS. W 1994 r. ścigano się i balowano w Nowym Jorku. W tym roku po raz pierwszy igrzyska opuściły zachodnią półkulę.
Cztery lata temu w geście przypominającym akt skruchy Amerykański Komitet Olimpijski przyznał swe najwyższe odznaczenie skoczkowi do wody Gregowi Louganisowi, mistrzowi olimpijskiemu i zdeklarowanemu homoseksualiście, który wraz z Martiną Navratilovą szukał sponsorów gotowych wesprzeć różowe igrzyska. Louganis zadedykował otrzymane odznaczenie Waddellowi.