Ошибки усугубляются и в заставляют модели еще больше искажать реальность

ForbesHi-Tech

Градация деградации: ожидает ли генеративный искусственный интеллект вырождение

Роман Рожков

Фото Getty Images

Ученые бьют тревогу: если обучать искусственный интеллект на текстах, написанных его же «коллегой», это может привести к краху нейросетей. Обучение на основе данных, полученных другим ИИ, приводит к коллапсу модели, которая неправильно воспринимает реальность. Интернет, таким образом, как мировой океан, уже заполняется «мусором», пишут в статье о своей работе исследователи из Великобритании и Канады. Forbes опросил российских специалистов по ИИ, насколько серьезна эта проблема и к чему она может привести.

Интернет наполняется ерундой

Спустя всего полгода после появления ChatGPT в широком доступе все больше людей применяют ИИ в создании и публикации контента. По данным McKinsey and Company, уже около 50% сотрудников по всему миру используют в своей работе подобные инструменты. Но что происходит по мере распространения контента, сгенерированного ИИ, по всему интернету, когда модели ИИ начинают обучаться на нем, а не на том, что создал человек?

Группа исследователей из Великобритании и Канады изучила эту проблему и недавно опубликовала статью о своей работе в журнале arXiv. То, что они обнаружили, вызывает тревогу для существующей технологии генеративного ИИ и ее будущего: использование контента, сгенерированного моделями, при обучении приводит к необратимым дефектам. Это, в свою очередь, приводит к коллапсу модели — «дегенеративному процессу, при котором со временем модели забывают истинное распределение исходных данных <...> этот процесс неизбежен даже для кейсов с почти идеальными условиями для долгосрочного обучения», пишут они.

«Со временем ошибки усугубляются и в конечном счете заставляют модели, которые учатся на сгенерированных данных, еще больше искажать реальность, — прокомментировал VentureBeat один из ведущих авторов статьи Илья Шумайлов. — Мы были удивлены, наблюдая, как быстро происходит разрушение модели: модели могут быстро забыть большую часть исходных данных, из которых они изначально извлекли уроки». Таким образом, производительность ИИ ухудшается, это приводит к большему количеству ошибок в ответах и создаваемом контенте и к гораздо меньшему разнообразию безошибочных ответов.

«Точно так же, как мы усыпали океаны пластиковым мусором и наполнили атмосферу углекислым газом, мы собираемся заполнить интернет ерундой, — продолжает другой соавтор исследования, профессор Кембриджского и Эдинбургского университетов Росс Андерсон. — Это затруднит обучение новых моделей, что даст преимущество тем, кто уже сделал это. Действительно, мы уже видим, как стартапы с искусственным интеллектом забивают интернет-архив обучающими данными».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Девятая планета Солнечной системы может скрываться вовсе не там, где мы думали Девятая планета Солнечной системы может скрываться вовсе не там, где мы думали

Возможно, Девятую планету все это время искали не там, где нужно

Популярная механика
Всё, что нужно знать о новом Jeep Avenger Всё, что нужно знать о новом Jeep Avenger

Простите, а это точно Jeep?

4x4 Club
«Принес на первое свидание 5 кг красной рыбы» «Принес на первое свидание 5 кг красной рыбы»

Истории людей, которые нашли cвою любовь в Сети

Лиза
Правила летней укладки: что делать с волосами на море, если они сильно пушатся — отвечает стилист Правила летней укладки: что делать с волосами на море, если они сильно пушатся — отвечает стилист

Рассказываем о способах усмирить излишнюю пушистость волос во время отпуска

VOICE
Юлиана Слащева: Мультипликация — лучший способ познакомить детей с их родителями Юлиана Слащева: Мультипликация — лучший способ познакомить детей с их родителями

Интервью председателя совета директоров Союзмультфильма Юлианы Слащевой

СНОБ
Доверительные отношения: как научить ребенка рассказывать о проблемах — 3 главных принципа воспитания Доверительные отношения: как научить ребенка рассказывать о проблемах — 3 главных принципа воспитания

Как приучить детей говорить о переживаниях, чувствах и проблемах?

Psychologies
Белки из зубов указали на пол детей из погребений с моделями колыбелей эпохи бронзы Белки из зубов указали на пол детей из погребений с моделями колыбелей эпохи бронзы

Ученые провели протеомный анализ зубной эмали четырех детей эпохи бронзы

N+1
Наперегонки с ветром Наперегонки с ветром

Нужен ли парусной лодке двигатель и в чём турки лучше греков?

Robb Report
Этому древнему хищнику оторвали голову одним мощным укусом: кто мог это сделать? Этому древнему хищнику оторвали голову одним мощным укусом: кто мог это сделать?

В среднем триасе даже охотник мог стать жертвой

ТехИнсайдер
«Не убийца, а всего лишь код, созданный и управляемый человеком»: сооснователь фонда Andreessen Horowitz о рисках ИИ «Не убийца, а всего лишь код, созданный и управляемый человеком»: сооснователь фонда Andreessen Horowitz о рисках ИИ

Страхи, связанные с ИИ, лишь сеют панику и тормозят развитие сектора

VC.RU
Футуролог — об успешных и провальных инвестиционных стратегиях Футуролог — об успешных и провальных инвестиционных стратегиях

Евгений Кузнецов — об инвестициях в хорошие дела и высокотехнологичные проекты,

РБК
Откуда взялся мем про 40 кошек: ни одна женщина не обидится на эту шутку, если узнает ее происхождение Откуда взялся мем про 40 кошек: ни одна женщина не обидится на эту шутку, если узнает ее происхождение

Почему считается, что у сильной и независимой женщины должно быть 40 кошек?

VOICE
«Женщины играют значительную роль в освоении арктических территорий» «Женщины играют значительную роль в освоении арктических территорий»

О важности постоянного прямого диалога с женщинами коренных народов Севера

РБК
Y-хромосома по-разному повлияла на исходы рака Y-хромосома по-разному повлияла на исходы рака

Как Y-хромосомы влияют на развитие колоректального рака и рака мочевого пузыря

N+1
Ученые выяснили эволюционное значение мастурбации Ученые выяснили эволюционное значение мастурбации

Мастурбация повышает репродуктивный успех у самцов приматов

ТехИнсайдер
Строго по трафику: Минцифры заставляет операторов самих блокировать веб-ресурсы Строго по трафику: Минцифры заставляет операторов самих блокировать веб-ресурсы

Минцифры хочет заставить операторов блокировать все запрещенные интернет-ресурсы

Forbes
Одиночество лидера Одиночество лидера

Одиночество как проявление силы человека в исполнении Николая Рериха

Вокруг света
«Все равно надо двигаться дальше»: когда полезно игнорировать чувства — необычный взгляд на проблемы «Все равно надо двигаться дальше»: когда полезно игнорировать чувства — необычный взгляд на проблемы

В чем польза перестать прислушиваться к собственным чувствам

Psychologies
Город мечты Город мечты

На берегу Каспийского моря Эмин Агаларов строит город своей мечты

OK!
Любовь Аркус Любовь Аркус

Киновед, основатель журнала «Сеанс» и фонда поддержки людей с аутизмом

Собака.ru
Изменение климата в Европе ведет к росту вирусных заболеваний, переносимых комарами Изменение климата в Европе ведет к росту вирусных заболеваний, переносимых комарами

Тенденция к потеплению делает условия приятнее для инвазивных видов комаров

ТехИнсайдер
Вот это квас! Вот это квас!

Утолить жажду, приготовить окрошку или ботвинью

Лиза
Что мы знаем о новом RAM Rampage, на днях официально представленным в Южной Америке Что мы знаем о новом RAM Rampage, на днях официально представленным в Южной Америке

Пикап длиной 5 028 мм от RAM станет достойным конкурентом Ford Maverick

4x4 Club
Сергей Сельянов Сергей Сельянов

Патриарх независимого российского кинематографа

Собака.ru
Календарь вакцинации: какие прививки нужно делать взрослым? Календарь вакцинации: какие прививки нужно делать взрослым?

Помогают ли прививки и от чего стоит защищаться в первую очередь?

Правила жизни
Как будет “уют” по-китайски: тест-драйвим роскошный минивэн Voyah Dream Как будет “уют” по-китайски: тест-драйвим роскошный минивэн Voyah Dream

Необычный люкс-минивэн от китайского бренда Voyah

ТехИнсайдер
Максим Матвеев: «Поход к терапевту не делает тебя психом» Максим Матвеев: «Поход к терапевту не делает тебя психом»

Интервью с одним из самых востребованных актеров страны

СНОБ
«Тайны души» «Тайны души»

Социальная и культурная история психоанализа

N+1
Проклятие «Титаника»: почему говорят, что спустя 111 лет лайнер продолжает губить людей Проклятие «Титаника»: почему говорят, что спустя 111 лет лайнер продолжает губить людей

Когда «Титаник» потерпел крушение, тут же поползли слухи о проклятии

VOICE
Как перестать соглашаться делать то, что не хочется: 5 способов научиться отказывать — советы психолога Как перестать соглашаться делать то, что не хочется: 5 способов научиться отказывать — советы психолога

Как выстроить здоровые границы и научиться отказывать окружающим?

Psychologies
Открыть в приложении