В 1962 году Юнис Кеннеди Шрайвер, сестра президента Джона Ф. Кеннеди, основала летний лагерь для детей с нарушениями интеллекта в своем доме в Роквилле, штат Мэриленд. Лагерь, названный Camp Shriver, был призван обеспечить детям место для игр и одновременно пропагандировать пользу физической активности. Лагерь Шрайвер стал ежегодным, и при поддержке Фонда Джозефа П. Кеннеди-младшего подобные лагеря стали финансироваться по всей территории США и Канады. В этих лагерях особое внимание уделялось спорту, а за физические достижения выдавались награды.
Доктор Джеймс Н. Оливер, который в 1958 году провел новаторское исследование о влиянии физических упражнений на успеваемость умственно отсталых детей в классе, в 1964 году стал консультантом лагеря Шрайвер. Воодушевленный положительным эффектом физических упражнений, Шривер начал расширять программы физической активности для умственно отсталой молодежи за пределы лагеря Шривер.
В июле 1968 года Шрайвер и Чикагский парковый округ выступили спонсорами первых летних Специальных Олимпийских игр на чикагском стадионе Soldier Field. Почти 1 500 спортсменов соревновались в 18 видах спорта в течение одного дня. Успех Игр привел к тому, что Шрайвер объявил, что в дальнейшем Игры будут проводиться раз в два года. В декабре следующего года была основана Международная организация Специальной Олимпиады. В 1971 году Олимпийский комитет США одобрил использование Специальной Олимпиадой слова «Олимпиада», а в 1988 году организация была официально признана Международным олимпийским комитетом. Первые Всемирные зимние игры Специальной Олимпиады состоялись в 1977 году в Стимбоат-Спрингс, штат Колорадо.
С момента основания организации ее отделения были созданы почти в 200 странах. Число участников Игр обычно превышает 6500 спортсменов, которые соревнуются в более чем 20 видах спорта. Страны, принимающие Игры, варьируются от Греции до Южной Кореи. Всемирные игры Специальной Олимпиады по-прежнему проводятся раз в два года, сменяя друг друга летом и зимой. Спортсмены проходят круглогодичные тренировки и участвуют в ежегодных соревнованиях. С 1997 года спортсмены также получают бесплатное медицинское обследование и лечение благодаря инициативе «Здоровые спортсмены», реализуемой Специальной Олимпиадой. В настоящее время в программе Специальной Олимпиады участвуют более 5,3 миллиона спортсменов.
