Родился 7 ноября 1948 года в селе Усть-Камзас Кемеровской области, в многодетной семье кузнеца. В 1953 году вместе с родителями переехал в посёлок Усть-Уюк Пий-Хемского района Тувы, где пошёл в школу. В Туве Ярыгины прожили восемь лет, после чего перебрались в посёлок Сизая Красноярского края.
В детстве Иван увлекался футболом, играл на позиции вратаря. После школы поехал в Абакан учиться на шофёра, после работы играл в футбол за местный мясокомбинат, куда он устроился на подработку. Высокого, атлетически сложенного вратаря, во время одной из игр, заметил руководитель местной секции вольной борьбы тренер В. И. Чарков и уговорил его попробовать свои силы на борцовском ковре.
Когда в 1966 году Ярыгин достиг призывного возраста, он переехал в Красноярск, где начал тренироваться у Д. Г. Миндиашвили, который на тот момент уже имел опыт подготовки борцов высокого класса. Миндиашвили договорился с местным военкоматом о том, что перспективного атлета оставят служить в Красноярске, и он получит возможность тренироваться под его руководством. Во время службы в Красноярском радиотехническом училище противовоздушной обороны выиграл первенство Вооружённых Сил СССР по самбо, став мастером спорта в этом виде борьбы. По окончании службы всецело сосредоточился на вольной борьбе и довольно быстро вошёл в число сильнейших атлетов в этом виде спорта.
В 1968 году выиграл молодёжные первенства РСФСР, а потом и СССР по вольной борьбе.
В 1970 году стал призёром чемпионата РСФСР и чемпионом СССР.
В 1972 году блестяще выиграл чемпионат Европы в Катовице и стал кандидатом в олимпийскую сборную. В итоге, на Олимпийские игры в Мюнхен было решено послать именно Ярыгина, так как, по мнению тренерского совета, на тот момент он находился в лучшей физической форме.
На Олимпийских играх в Мюнхене в 1972 году Иван Ярыгин установил рекорд, который не побит до сих пор, затратил на все свои победные схватки 8 минут 40 секунд, уложив всех соперников на лопатки. Так же досрочно закончил все поединки на чемпионате Европы 1972 года в Катовице, и на чемпионате мира 1973 года в Тегеране. Таким образом, Ярыгин — единственный в истории вольной борьбы спортсмен, сумевший положить всех без исключения соперников на лопатки на трёх самых престижных соревнованиях: Олимпийских играх, чемпионате мира и чемпионате Европы.
В 1974 году, на первом абсолютном чемпионате СССР по вольной борьбе, собравшем сильнейших атлетов страны, Ярыгин с лёгкостью расправился со всеми соперниками, многие из которых были крупнее и тяжелее его.
В июле 1976 года на Олимпийских играх в Монреале завоевал свою вторую золотую олимпийскую медаль. При этом, накануне соревнований он получил серьёзную травму — сломал два ребра, однако, скрыл этот факт от врачей и тренера, и превозмогая боль выиграл вторую Олимпиаду. Ему была доверена высокая честь нести флаг сборной команды СССР на закрытии Олимпиады.
За мощный, агрессивный стиль борьбы получил прозвище «Иван Грозный». Коронным приёмом борца являлась передняя подножка захватом плеча снизу и руки.
В 1980 году завершил спортивную карьеру. В дальнейшем был главным тренером сборной СССР (1982—1991) и Объединённой команды СНГ (1992) по вольной борьбе.
С 1993 по 1997 год — президент Федерации спортивной борьбы России, член бюро Международной федерации объединённых стилей борьбы.

Кавалер Золотого ордена ФИЛА.

Кавалер Орденов Ленина, Трудового Красного Знамени, Дружбы Народов, Знак Почёта(СССР), Почёта(России)

Почётный гражданин Красноярска (1980) и Шушенского района.

Погиб 11 октября 1997 года.

Похоронен на Троекуровском кладбище в Москве.