Ошибки усугубляются и в заставляют модели еще больше искажать реальность

ForbesHi-Tech

Градация деградации: ожидает ли генеративный искусственный интеллект вырождение

Роман Рожков

Фото Getty Images

Ученые бьют тревогу: если обучать искусственный интеллект на текстах, написанных его же «коллегой», это может привести к краху нейросетей. Обучение на основе данных, полученных другим ИИ, приводит к коллапсу модели, которая неправильно воспринимает реальность. Интернет, таким образом, как мировой океан, уже заполняется «мусором», пишут в статье о своей работе исследователи из Великобритании и Канады. Forbes опросил российских специалистов по ИИ, насколько серьезна эта проблема и к чему она может привести.

Интернет наполняется ерундой

Спустя всего полгода после появления ChatGPT в широком доступе все больше людей применяют ИИ в создании и публикации контента. По данным McKinsey and Company, уже около 50% сотрудников по всему миру используют в своей работе подобные инструменты. Но что происходит по мере распространения контента, сгенерированного ИИ, по всему интернету, когда модели ИИ начинают обучаться на нем, а не на том, что создал человек?

Группа исследователей из Великобритании и Канады изучила эту проблему и недавно опубликовала статью о своей работе в журнале arXiv. То, что они обнаружили, вызывает тревогу для существующей технологии генеративного ИИ и ее будущего: использование контента, сгенерированного моделями, при обучении приводит к необратимым дефектам. Это, в свою очередь, приводит к коллапсу модели — «дегенеративному процессу, при котором со временем модели забывают истинное распределение исходных данных <...> этот процесс неизбежен даже для кейсов с почти идеальными условиями для долгосрочного обучения», пишут они.

«Со временем ошибки усугубляются и в конечном счете заставляют модели, которые учатся на сгенерированных данных, еще больше искажать реальность, — прокомментировал VentureBeat один из ведущих авторов статьи Илья Шумайлов. — Мы были удивлены, наблюдая, как быстро происходит разрушение модели: модели могут быстро забыть большую часть исходных данных, из которых они изначально извлекли уроки». Таким образом, производительность ИИ ухудшается, это приводит к большему количеству ошибок в ответах и создаваемом контенте и к гораздо меньшему разнообразию безошибочных ответов.

«Точно так же, как мы усыпали океаны пластиковым мусором и наполнили атмосферу углекислым газом, мы собираемся заполнить интернет ерундой, — продолжает другой соавтор исследования, профессор Кембриджского и Эдинбургского университетов Росс Андерсон. — Это затруднит обучение новых моделей, что даст преимущество тем, кто уже сделал это. Действительно, мы уже видим, как стартапы с искусственным интеллектом забивают интернет-архив обучающими данными».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Материнство и работа: как поддержать коллегу в декрете и после него Материнство и работа: как поддержать коллегу в декрете и после него

Советы, которые помогут и уходящей в декрет сотруднице, и ее коллегам

Forbes
Профессор из Стэнфорда уверен, что инопланетяне уже на Земле, но люди ничего не замечают! Согласны? Профессор из Стэнфорда уверен, что инопланетяне уже на Земле, но люди ничего не замечают! Согласны?

Неужели инопланетяне были на Земле? Как это проверить?

ТехИнсайдер
Ученые выяснили эволюционное значение мастурбации Ученые выяснили эволюционное значение мастурбации

Мастурбация повышает репродуктивный успех у самцов приматов

ТехИнсайдер
Генетики прочитали ДНК погребенных в общей могиле носителей традиции колоколовидных кубков Генетики прочитали ДНК погребенных в общей могиле носителей традиции колоколовидных кубков

Останки женщины и ребенка больше 20 лет назад раскопали в Люксембурге

N+1
Лишняя тяга: как неуместное поведение мужчин мешает женщинам заниматься в спортзале Лишняя тяга: как неуместное поведение мужчин мешает женщинам заниматься в спортзале

Как посетительницы и сотрудницы фитнес-клубов борются с тревогой и отторжением?

Forbes
Криптовалюта Dogecoin — забавный эксперимент или долгосрочная инвестиция? Криптовалюта Dogecoin — забавный эксперимент или долгосрочная инвестиция?

Dogecoin: история, перспективы, где хранить и как купить эту криптовалюту

Цифровой океан
Как стать донором и что можно пожертвовать нуждающимся Как стать донором и что можно пожертвовать нуждающимся

Гид по разным опциям донорства, доступным в России

СНОБ
Послеродовая депрессия бывает даже у молодых отцов. Вот как справиться с этим Послеродовая депрессия бывает даже у молодых отцов. Вот как справиться с этим

По оценкам исследований, послеродовой депрессии подвержены около 10% отцов

ТехИнсайдер
Эпоха зрелища: как меняется пейзаж Дубая и он становится «правильным городом» Эпоха зрелища: как меняется пейзаж Дубая и он становится «правильным городом»

Отрывок из книги «Эпоха зрелища. Приключения архитектуры и город XXI века»

Forbes
С первыми лучами солнца: что может произойти с завтраком в отеле С первыми лучами солнца: что может произойти с завтраком в отеле

История таинственного исчезновения завтрака в отеле

Правила жизни
Спиливание рогов ради защиты от браконьеров сделало носорогов менее общительными Спиливание рогов ради защиты от браконьеров сделало носорогов менее общительными

Спиливание рогов у носорогов сократило площадь их территории

N+1
Как заставить окружающих прислушиваться к вашему мнению: 4 совета Как заставить окружающих прислушиваться к вашему мнению: 4 совета

Как же начать «звучать» убедительнее для других?

Psychologies
Потому что мы — банда! Зачем смотреть фильм «Девушки, живущие в сети» Потому что мы — банда! Зачем смотреть фильм «Девушки, живущие в сети»

Почему фильм «Девушки, живущие в сети» заслуживает самого пристального внимания

РБК
Ученые впервые увидели свет древнейших галактик, родившихся через миллиард лет после Большого Взрыва Ученые впервые увидели свет древнейших галактик, родившихся через миллиард лет после Большого Взрыва

Само собой разумеется, что вокруг квазаров могут быть галактики

ТехИнсайдер
Как выглядит в обычной жизни самая красивая принцесса Иордании - и какой она была еще несколько лет назад Как выглядит в обычной жизни самая красивая принцесса Иордании - и какой она была еще несколько лет назад

Хаала бинт аль Хашим проснулась знаменитой после свадьбы своего кузена

VOICE
5 признаков, что вы — жертва эмоционального насилия 5 признаков, что вы — жертва эмоционального насилия

Каким бывает эмоциональное насилие и почему мы предпочитаем о нем молчать?

Psychologies
Аномальная планета пережила смерть своей звезды: космическая тайна Аномальная планета пережила смерть своей звезды: космическая тайна

Каким-то чудом эта планета продолжает существовать

ТехИнсайдер
«В России в принципе не очень хорошо с памятью» «В России в принципе не очень хорошо с памятью»

Как бывший журналист пытается вернуть одному селу его прошлое

Weekend
Не на каждый день Не на каждый день

Эта московская квартира была задумана и реализована как «квартира–шкатулка»

SALON-Interior
Как ужиться мачехе и падчерице, воспитанным в разных культурах Как ужиться мачехе и падчерице, воспитанным в разных культурах

Мачехе и падчерице часто трудно принять друг друга

СНОБ
«Быть собой: Новая теория сознания» «Быть собой: Новая теория сознания»

Восприятие — это результат предсказаний мозга насчет источников сигналов

N+1
«Он и в жизни такой?»: как Богдан Лисевский высмеял жанр интервью и покорил YouTube «Он и в жизни такой?»: как Богдан Лисевский высмеял жанр интервью и покорил YouTube

Как Богдану Лисевскому удалось покорить российское медиапространство?

Forbes
Да, ты фотогеничная! Как правильно позировать, чтобы всегда выглядеть классно: мастер-класс от модного фотографа Да, ты фотогеничная! Как правильно позировать, чтобы всегда выглядеть классно: мастер-класс от модного фотографа

Как сделать отличные кадры? Рассказывает профи

VOICE
«Борьба с драконом — это коллективное действие» «Борьба с драконом — это коллективное действие»

Александр Абатуров о своем фильме «Рай»

Weekend
Как в Россию возвращалась теология и зачем она нам сегодня Как в Россию возвращалась теология и зачем она нам сегодня

Выявлять и акцентировать проблемы гуманитарной науки в целом — задача теологии

Наука
5 признаков, что ты пришла в плохую парикмахерскую: их должна знать каждая женщина 5 признаков, что ты пришла в плохую парикмахерскую: их должна знать каждая женщина

Выбрать хорошего парикмахера не так просто, как кажется на первый взгляд

VOICE
6 книг, достойных экранизации 6 книг, достойных экранизации

Художественные книги, экранизации которых могли бы оказаться интересными

СНОБ
Девушка из STEM: как Энн-Мари Имафидон стала самой известной британкой в технологиях Девушка из STEM: как Энн-Мари Имафидон стала самой известной британкой в технологиях

Главная заслуга Имафидон — системная поддержка девушек в науке и технологиях

Forbes
Новый порядок Новый порядок

Куда (и почему) меняется значение слова «кристалл»

N+1
Филлеры тут, филлеры там: как зумеры делают косметологию и пластическую хирургию модной Филлеры тут, филлеры там: как зумеры делают косметологию и пластическую хирургию модной

Почему косметология и пластическая хирургия так востребована среди молодежи?

Psychologies
Открыть в приложении