Ошибки усугубляются и в заставляют модели еще больше искажать реальность

ForbesHi-Tech

Градация деградации: ожидает ли генеративный искусственный интеллект вырождение

Роман Рожков

Фото Getty Images

Ученые бьют тревогу: если обучать искусственный интеллект на текстах, написанных его же «коллегой», это может привести к краху нейросетей. Обучение на основе данных, полученных другим ИИ, приводит к коллапсу модели, которая неправильно воспринимает реальность. Интернет, таким образом, как мировой океан, уже заполняется «мусором», пишут в статье о своей работе исследователи из Великобритании и Канады. Forbes опросил российских специалистов по ИИ, насколько серьезна эта проблема и к чему она может привести.

Интернет наполняется ерундой

Спустя всего полгода после появления ChatGPT в широком доступе все больше людей применяют ИИ в создании и публикации контента. По данным McKinsey and Company, уже около 50% сотрудников по всему миру используют в своей работе подобные инструменты. Но что происходит по мере распространения контента, сгенерированного ИИ, по всему интернету, когда модели ИИ начинают обучаться на нем, а не на том, что создал человек?

Группа исследователей из Великобритании и Канады изучила эту проблему и недавно опубликовала статью о своей работе в журнале arXiv. То, что они обнаружили, вызывает тревогу для существующей технологии генеративного ИИ и ее будущего: использование контента, сгенерированного моделями, при обучении приводит к необратимым дефектам. Это, в свою очередь, приводит к коллапсу модели — «дегенеративному процессу, при котором со временем модели забывают истинное распределение исходных данных <...> этот процесс неизбежен даже для кейсов с почти идеальными условиями для долгосрочного обучения», пишут они.

«Со временем ошибки усугубляются и в конечном счете заставляют модели, которые учатся на сгенерированных данных, еще больше искажать реальность, — прокомментировал VentureBeat один из ведущих авторов статьи Илья Шумайлов. — Мы были удивлены, наблюдая, как быстро происходит разрушение модели: модели могут быстро забыть большую часть исходных данных, из которых они изначально извлекли уроки». Таким образом, производительность ИИ ухудшается, это приводит к большему количеству ошибок в ответах и создаваемом контенте и к гораздо меньшему разнообразию безошибочных ответов.

«Точно так же, как мы усыпали океаны пластиковым мусором и наполнили атмосферу углекислым газом, мы собираемся заполнить интернет ерундой, — продолжает другой соавтор исследования, профессор Кембриджского и Эдинбургского университетов Росс Андерсон. — Это затруднит обучение новых моделей, что даст преимущество тем, кто уже сделал это. Действительно, мы уже видим, как стартапы с искусственным интеллектом забивают интернет-архив обучающими данными».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Самолет комсомольцев Самолет комсомольцев

Уникальный авиационный проект, созданный комсомольцами и на деньги комсомола

Популярная механика
Мозг человека постоянно воспроизводит прошлые события, чтобы понять настоящее Мозг человека постоянно воспроизводит прошлые события, чтобы понять настоящее

Зачем человеческому мозгу необходимо помнить прошлое?

ТехИнсайдер
Я — сноб: певец Сергей Мазаев Я — сноб: певец Сергей Мазаев

Сергей Мазаев о новых проектах и о том, как важно оставаться самим собой

СНОБ
Вкусный сезон. 8 самых полезных ягод: каждая по-своему неповторима и полезна Вкусный сезон. 8 самых полезных ягод: каждая по-своему неповторима и полезна

Ягоды – один из самых полезных продуктов в мире.

Лиза
Чему учили школьников на НВП в СССР? Чему учили школьников на НВП в СССР?

В СССР в был предмет «Начальная военная подготовка». Чему на нем учили?

Maxim
Эстетика простоты Эстетика простоты

Текучая, визуально чистая архитектура, игра света и магия искусства

SALON-Interior
Высокочувствительные люди: кто они и как жить с этой особенностью? Высокочувствительные люди: кто они и как жить с этой особенностью?

Гайд по поведению высокочувствительных людей

Правила жизни
Почему женщины все еще боятся маммографии: 3 главных страха Почему женщины все еще боятся маммографии: 3 главных страха

Что останавливает женщин от похода к маммологу и что делать

Psychologies
Ресурсы счастья Ресурсы счастья

Часто мы пропускаем менее очевидные, но не менее важные потребности

Здоровье
Нутрия: инвазивные грызуны необычного размера Нутрия: инвазивные грызуны необычного размера

Нутрии не только грызуны с прекрасным мехом, но и настоящие вредители

ТехИнсайдер
«Может шить, готовить, говорить»: о чем писали поэтессы второй половины ХХ века «Может шить, готовить, говорить»: о чем писали поэтессы второй половины ХХ века

На протяжении долгого времени голоса женщин в литературе были почти не слышны

Forbes
Самые фотогеничные локации Подмосковья: кто сказал, что за красивыми кадрами нужно далеко ехать? Самые фотогеничные локации Подмосковья: кто сказал, что за красивыми кадрами нужно далеко ехать?

Живописные места Подмосковья

Maxim
Чек-лист токсичного пациента: проверьте себя Чек-лист токсичного пациента: проверьте себя

Как ведут себя токсичные пациенты?

Psychologies
Город мечты Город мечты

На берегу Каспийского моря Эмин Агаларов строит город своей мечты

OK!
Нейросеть изобразила 8 популярных психологических терминов: взгляните и оцените! Нейросеть изобразила 8 популярных психологических терминов: взгляните и оцените!

Midjourney создала иллюстрации, на которых показаны психологические термины

Psychologies
Земледелие в Северо-Западную Африку принесли мигранты с Пиренейского полуострова Земледелие в Северо-Западную Африку принесли мигранты с Пиренейского полуострова

Палеогенетики прочитали ДНК девяти человек, живших в позднем эпипалеолите

N+1
На северо-западе Франции нашли три клада эпохи бронзы На северо-западе Франции нашли три клада эпохи бронзы

Во французской Бретани обнаружили три древних клада

N+1
Как детские травмы влияют на карьеру и успешность Как детские травмы влияют на карьеру и успешность

О взаимосвязи карьеры и психотравм раннего возраста рассказывает супервизор

Psychologies
Как выявить буллинг: 13 признаков, что ребенок столкнулся с издевательствами в школе Как выявить буллинг: 13 признаков, что ребенок столкнулся с издевательствами в школе

Как выяснить, что ребенок стал жертвой буллинга?

Psychologies
В сарматских погребениях могильника Вонючка-1 нашли всадника и двух женщин с зубными аномалиями В сарматских погребениях могильника Вонючка-1 нашли всадника и двух женщин с зубными аномалиями

Наталия Березина исследовала останки трех человек раннесарматского времени

N+1
Узоры Поволжья Узоры Поволжья

Небольшая Республика Марий Эл в основном известна своей столицей

Отдых в России
Неизвестный Нижний Неизвестный Нижний

Нижний Новгород сочетает в себе богатство купеческой жизни и традиции

Отдых в России
Кто твой главный враг по знаку зодиака? Кто твой главный враг по знаку зодиака?

В кого из знаков зодиака тебе лучше всего кинуть Магическим шаром?

VOICE
Квадрокоптер-трансформер c ротор-колесами научился стоять на двух ногах Квадрокоптер-трансформер c ротор-колесами научился стоять на двух ногах

Инженеры разработали робота-трансформера под названием Morphobot M4

N+1
Трудоголизм и лудомания: 6 видов современных поведенческих зависимостей — проверьте себя Трудоголизм и лудомания: 6 видов современных поведенческих зависимостей — проверьте себя

Существует большое количество поведенческих зависимостей, с которыми мы живем

Psychologies
Самый знаменитый американский пикап. Краткая история Chevrolet Silverado Самый знаменитый американский пикап. Краткая история Chevrolet Silverado

Что сделало грузовик Chevrolet Silverado такими востребованным?

4x4 Club
Секреты салонного маникюра, о которых все молчат: что скрывают нейл-мастера Секреты салонного маникюра, о которых все молчат: что скрывают нейл-мастера

Ты пересмотришь свое мнение о домашнем маникюре, узнав, что происходит в салонах

VOICE
Что такое «дофаминовая перезагрузка» и почему она так нужна нам сегодня Что такое «дофаминовая перезагрузка» и почему она так нужна нам сегодня

Что такое дофаминовая система, как она связана с получением удовольствия

Psychologies
После сотрясения мозг исцеляет себя глубоким сном После сотрясения мозг исцеляет себя глубоким сном

Мозг после травмы погружает пострадавшего в сон более глубокий, чем обычно

ТехИнсайдер
Бактерии-металлурги: предотвратят ли биотехнологии войны за редкоземельные металлы Бактерии-металлурги: предотвратят ли биотехнологии войны за редкоземельные металлы

Бурный рост производства электроники обостряет конкуренцию за редкоземы

Forbes
Открыть в приложении