Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Способ приготовления кофе влияет на продолжительность вашей жизни Способ приготовления кофе влияет на продолжительность вашей жизни

Какой способ приготовления кофе сохраняет защитные эффекты напитка?

ТехИнсайдер
Дмитрий Астрахан: «Страшно не объясниться в любви, может порушиться жизнь» Дмитрий Астрахан: «Страшно не объясниться в любви, может порушиться жизнь»

«Хотелось сделать театр, про который зритель знает: там будет ярко, зрелищно»

Караван историй
3D-печать домов, роботы-диагносты, космические двигатели и сверхпрочные ткани: как российские стартапы создают будущее 3D-печать домов, роботы-диагносты, космические двигатели и сверхпрочные ткани: как российские стартапы создают будущее

Подборка историй людей, которые двигают прогресс

ТехИнсайдер
Что такое мукбанг и почему людям нравится смотреть, как едят другие Что такое мукбанг и почему людям нравится смотреть, как едят другие

Почему одним людям мукбанг нравится, а других раздражает?

Psychologies
5 фраз, которые мгновенно выдают неуверенного в себе человека — и как научиться звучать уверенно 5 фраз, которые мгновенно выдают неуверенного в себе человека — и как научиться звучать уверенно

Каких именно слов и выражений стоит избегать, чтобы речь звучала тверже

VOICE
Катерина Мурашова: почему подростки ищут альтернативные реальности Катерина Мурашова: почему подростки ищут альтернативные реальности

Что стоит за увлечением играми, фэнтези и животными альтер-эго?

СНОБ
Один раз, еще не жена Один раз, еще не жена

Однажды я провел за два года три свадьбы у одной и той же невесты!

Men Today
Остановись мгновенье! Ученые рассказали, как изменить восприятие времени и сделать жизнь длиннее Остановись мгновенье! Ученые рассказали, как изменить восприятие времени и сделать жизнь длиннее

Вы когда-нибудь задумывались, почему время всегда ощущается по-разному?

ТехИнсайдер
Сырьевое эмбарго: резервы небольшие Сырьевое эмбарго: резервы небольшие

Очевидных кандидатов на контрсанкции на третьем году санкционной войны немного

Монокль
Мамина гордость: как властная мать почти разрушила карьеру звезды сборной Франции Мамина гордость: как властная мать почти разрушила карьеру звезды сборной Франции

Как родственные связи могут погубить карьеру звездного спортсмена Рабьо

Forbes
Суверенные аккумуляторы: для чего «Норникель» вложил $30 млн в батарейный центр Суверенные аккумуляторы: для чего «Норникель» вложил $30 млн в батарейный центр

Насколько перспективны новые разработки «Норникеля» по аккумуляторам?

Forbes
Солист группы «Комната культуры» Евгений Трофимов: Песню «Поезда» я написал за 20 минут Солист группы «Комната культуры» Евгений Трофимов: Песню «Поезда» я написал за 20 минут

Какую песню Евгений Трофимов называет самой «выстраданной»

СНОБ
Как в России жили, спивались и умирали слоны Как в России жили, спивались и умирали слоны

Трагические истории слонов, которых дарили персидские правители российским царям

СНОБ
Отпускная депрессия: что делать, если нет сил нормально работать после отдыха Отпускная депрессия: что делать, если нет сил нормально работать после отдыха

Что делать, если «сложно возвращаться на работу» превращается в «невыносимо»?

VOICE
Хотите сохранять мир в отношениях? Общайтесь правильно! Хотите сохранять мир в отношениях? Общайтесь правильно!

Как говорить с партнером, чтобы вас слышали и понимали

Psychologies
Теннисистка Анастасия Пивоварова рассказала, как справляться с любыми трудностями Теннисистка Анастасия Пивоварова рассказала, как справляться с любыми трудностями

Теннисистка Анастасия Пивоварова поделилась своими рецептами успеха

Psychologies
Зачем пенсионеры ищут партнеров для сожительства и при чем тут «индекс Кэрри Брэдшоу» Зачем пенсионеры ищут партнеров для сожительства и при чем тут «индекс Кэрри Брэдшоу»

Кто такие буммейты и почему жить с соседями сегодня наиболее выгодно

Forbes
ChatGPT превзошел врачей в оценке респираторных заболеваний у детей ChatGPT превзошел врачей в оценке респираторных заболеваний у детей

В оценке респираторных заболеваний ChatGPT показал лучшие результаты, чем врачи

ТехИнсайдер
На озеленение Красноярска: как устроен внебиржевой рынок «народных» облигаций На озеленение Красноярска: как устроен внебиржевой рынок «народных» облигаций

В чем особенность народных облигаций и почему они выгодны государству

Forbes
Ученые впервые изучили состав породы с обратной стороны Луны Ученые впервые изучили состав породы с обратной стороны Луны

О чем могут рассказать базальтовые породы с дальней стороны Луны

ТехИнсайдер
Сьюзен Таубес «Развод». Впервые на русском Сьюзен Таубес «Развод». Впервые на русском

Отрывок из забытого романа Сьюзен Таубес «Развод»

СНОБ
Без лишних предисловий: Каневский и Сулим Без лишних предисловий: Каневский и Сулим

Леонид Каневский и Саша Сулим — главная динамическая пара прямо сейчас

Собака.ru
Почему волосы выпадают Почему волосы выпадают

Как остановить выпадение волос и простимулировать их рост?

Лиза
Оттолкнуться от дна Оттолкнуться от дна

Из-за чего могут исчезнуть десятки российских рек?

Наука
Образ собаки во сне: толкование сонников и психолога Образ собаки во сне: толкование сонников и психолога

Разбираемся, к чему снится собака с точки зрения сонников и психолога

Psychologies
«Пума на охоте»: почему женщин критикуют за выбор мужчин младше себя «Пума на охоте»: почему женщин критикуют за выбор мужчин младше себя

Откуда взялись стереотипы о возрасте в паре

Forbes
Двойные экспрессы Двойные экспрессы

В 2023–2024 на наших реках появились необычные суда – пассажирские катамараны

ТехИнсайдер
Абьюзивные отношения в советском кино: разбор на примере Гоши и Кати из фильма «Москва слезам не верит» Абьюзивные отношения в советском кино: разбор на примере Гоши и Кати из фильма «Москва слезам не верит»

Как «Москва слезам не верит» рассказывает историю абьюзивных отношений

Psychologies
Польза лаврового листа: 6 свойств Польза лаврового листа: 6 свойств

Зачем нужен лавровый лист и какими качествами он обладает

РБК
Капсула для настроения Капсула для настроения

Как извлечь пользу из антидепрессантов и избежать нежелательных последствий

Psychologies
Открыть в приложении