Ошибки усугубляются и в заставляют модели еще больше искажать реальность

ForbesHi-Tech

Градация деградации: ожидает ли генеративный искусственный интеллект вырождение

Роман Рожков

Фото Getty Images

Ученые бьют тревогу: если обучать искусственный интеллект на текстах, написанных его же «коллегой», это может привести к краху нейросетей. Обучение на основе данных, полученных другим ИИ, приводит к коллапсу модели, которая неправильно воспринимает реальность. Интернет, таким образом, как мировой океан, уже заполняется «мусором», пишут в статье о своей работе исследователи из Великобритании и Канады. Forbes опросил российских специалистов по ИИ, насколько серьезна эта проблема и к чему она может привести.

Интернет наполняется ерундой

Спустя всего полгода после появления ChatGPT в широком доступе все больше людей применяют ИИ в создании и публикации контента. По данным McKinsey and Company, уже около 50% сотрудников по всему миру используют в своей работе подобные инструменты. Но что происходит по мере распространения контента, сгенерированного ИИ, по всему интернету, когда модели ИИ начинают обучаться на нем, а не на том, что создал человек?

Группа исследователей из Великобритании и Канады изучила эту проблему и недавно опубликовала статью о своей работе в журнале arXiv. То, что они обнаружили, вызывает тревогу для существующей технологии генеративного ИИ и ее будущего: использование контента, сгенерированного моделями, при обучении приводит к необратимым дефектам. Это, в свою очередь, приводит к коллапсу модели — «дегенеративному процессу, при котором со временем модели забывают истинное распределение исходных данных <...> этот процесс неизбежен даже для кейсов с почти идеальными условиями для долгосрочного обучения», пишут они.

«Со временем ошибки усугубляются и в конечном счете заставляют модели, которые учатся на сгенерированных данных, еще больше искажать реальность, — прокомментировал VentureBeat один из ведущих авторов статьи Илья Шумайлов. — Мы были удивлены, наблюдая, как быстро происходит разрушение модели: модели могут быстро забыть большую часть исходных данных, из которых они изначально извлекли уроки». Таким образом, производительность ИИ ухудшается, это приводит к большему количеству ошибок в ответах и создаваемом контенте и к гораздо меньшему разнообразию безошибочных ответов.

«Точно так же, как мы усыпали океаны пластиковым мусором и наполнили атмосферу углекислым газом, мы собираемся заполнить интернет ерундой, — продолжает другой соавтор исследования, профессор Кембриджского и Эдинбургского университетов Росс Андерсон. — Это затруднит обучение новых моделей, что даст преимущество тем, кто уже сделал это. Действительно, мы уже видим, как стартапы с искусственным интеллектом забивают интернет-архив обучающими данными».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Цена успеха: как дорого мы готовы заплатить Цена успеха: как дорого мы готовы заплатить

Как устроен успех и можно ли быть успешным во всем?

Psychologies
Двойственная натура. Тест-драйв седана Omoda S5 Двойственная натура. Тест-драйв седана Omoda S5

Omoda S5: неоднозначные впечатления от китайского седана

СНОБ
Что такое нейрографика? Что такое нейрографика?

Практика, в которой работают руки и… чувство прекрасного

Psychologies
Ретропраздник! 19 мобильников золотого 2003 года Ретропраздник! 19 мобильников золотого 2003 года

Перед вами обзор мобильников, которые появились на свет 20 лет назад

Maxim
Погребенной на кровати раннесредневековой девушке воссоздали лицо Погребенной на кровати раннесредневековой девушке воссоздали лицо

Художники восстановили внешность молодой девушки из раннего Средневековья

N+1
От Робби Уильямса до Марины Абрамович: как выглядит современный арт-рынок Эмиратов От Робби Уильямса до Марины Абрамович: как выглядит современный арт-рынок Эмиратов

Насколько велик их рыночный потенциал в Объединенных Арабских Эмиратах сегодня.

Forbes
Разработан метод, который позволяет с вероятностью 99% определить статью, написанную чат-ботом Разработан метод, который позволяет с вероятностью 99% определить статью, написанную чат-ботом

Создан инструмент для идентификации академических научных текстов, созданных ИИ

ТехИнсайдер
Зоологи усомнились в дружбе медоуказчиков и медоедов Зоологи усомнились в дружбе медоуказчиков и медоедов

Сотрудничество медоуказчиков и медоедов может оказаться просто мифом

N+1
Мария Хорева Мария Хорева

Мария Хорева после травмы вернулась на сцену по-настоящему триумфально

Собака.ru
Польза или вред: стоит ли тренироваться каждый день Польза или вред: стоит ли тренироваться каждый день

Что будет, если тренироваться каждый день? Крепкие мышцы или травмы?

Правила жизни
Кардиолог назвала 3 несуществующих диагноза, которые врачи тем не менее ставят Кардиолог назвала 3 несуществующих диагноза, которые врачи тем не менее ставят

Почему врачи с образованием и долгой практикой ставят диагнозы, которых нет?

Psychologies
Может ли белковая диета стать «эликсиром молодости»? Есть нюансы Может ли белковая диета стать «эликсиром молодости»? Есть нюансы

Корреляция между поддержанием умеренной белковой диеты и улучшением здоровья

ТехИнсайдер
Жуткая сказка Андрея Подшибякина «Последний день лета» Жуткая сказка Андрея Подшибякина «Последний день лета»

Отрывок из триллера Андрея Подшибякина «Последний день лета»

СНОБ
Лоскут, игрушка, одеяло Лоскут, игрушка, одеяло

Создатели семейного бренда Galka исследуют образ дома

Seasons of life
Привычки, которые портят твои ноги — не делай так, если хочешь носить мини и шорты Привычки, которые портят твои ноги — не делай так, если хочешь носить мини и шорты

Нагрузка помогает сделать ножки подтянутыми, но может вызвать и обратный эффект

VOICE
Нерожденный ребенок: как пережить прервавшуюся беременность Нерожденный ребенок: как пережить прервавшуюся беременность

Правил, которые помогут пережить прервавшуюся беременность и сохранить здоровье

Psychologies
Перезапись страшных воспоминаний мышей разорвала связь с изначальной нейронной сетью Перезапись страшных воспоминаний мышей разорвала связь с изначальной нейронной сетью

Нейроны, хранящие страшное воспоминание мышей, поменяли паттерн кодирования

N+1
Подкаст журналиста помог подтвердить вину убийцы! Но спустя 27 лет после преступления Подкаст журналиста помог подтвердить вину убийцы! Но спустя 27 лет после преступления

Пол Флорес убил одногруппницу и пробыл на свободе почти три десятилетия

ТехИнсайдер
Какую пластику можно и нужно делать летом: твоя подсказка от хирурга Какую пластику можно и нужно делать летом: твоя подсказка от хирурга

Какие из пластических преображений показано делать в теплое время года?

VOICE
Скорость и смертельная опасность: как «24 часа Ле-Мана» стала легендарной гонкой Скорость и смертельная опасность: как «24 часа Ле-Мана» стала легендарной гонкой

Как трасса на севере Франции изменила мир автоспорта

Forbes
Вырубка лесов на японском острове испортила зубы местным макакам Вырубка лесов на японском острове испортила зубы местным макакам

Сильный стресс вызвал у макак недоразвитие эмали

N+1
Коллекционерам на заметку: 20 редких и дорогих наборов LEGO, производившихся серийно Коллекционерам на заметку: 20 редких и дорогих наборов LEGO, производившихся серийно

Бывают нумизматы, бывают филателисты, а бывают – коллекционеры LEGO

ТехИнсайдер
Клим Шипенко: «Космос точно вызывает зависимость» Клим Шипенко: «Космос точно вызывает зависимость»

История от первого режиссера, который побывал в космосе, и привез оттуда фильм!

Maxim
Эпоха зрелища: как меняется пейзаж Дубая и он становится «правильным городом» Эпоха зрелища: как меняется пейзаж Дубая и он становится «правильным городом»

Отрывок из книги «Эпоха зрелища. Приключения архитектуры и город XXI века»

Forbes
Нет предрассудкам: почему на китайские автомобили Voyah стоит обратить внимание Нет предрассудкам: почему на китайские автомобили Voyah стоит обратить внимание

Voyah: чем интересен молодой и амбициозный бренд из Поднебесной

Forbes
Думскроллинг: как перестать листать новости и уберечь себя от тревоги Думскроллинг: как перестать листать новости и уберечь себя от тревоги

Как перестать настойчивость читать новости? Как успокоиться?

Psychologies
Вместо некролога: как жил и писал Кормак Маккарти — один из самых важных авторов своего времени Вместо некролога: как жил и писал Кормак Маккарти — один из самых важных авторов своего времени

Алексей Поляринов вспоминает одного из важнейших американских авторов

Правила жизни
Вениамин Грабар Вениамин Грабар

Компания Ladoga — одно из градообразующих предприятий Петербурга

Собака.ru
Откуда взялся Indian Pale Ale (IPA) и чем отличаются его сорта между собой. История и краткий гид Откуда взялся Indian Pale Ale (IPA) и чем отличаются его сорта между собой. История и краткий гид

Пора разобраться со путаницей Indian Pale Ale: с ее истоками и последствиями.

Maxim
Как игровая школа росла быстрее рынка и выручила 315 млн рублей в 2022 году Как игровая школа росла быстрее рынка и выручила 315 млн рублей в 2022 году

Как школа игровой разработки XYZ превратилась в полноценный бизнес

Forbes
Открыть в приложении