Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Май 2025 стал одним из самых жарких за всю историю наблюдений Май 2025 стал одним из самых жарких за всю историю наблюдений

За последние 22 месяца средняя температура была на 1,5°C выше

ТехИнсайдер
Как бросить есть: мегахит для худеющих Как бросить есть: мегахит для худеющих

Ozempic стал первым лекарственным хитом XXI века

ТехИнсайдер
HDD и SSD накопители — в чем разница и стоит ли переплачивать? HDD и SSD накопители — в чем разница и стоит ли переплачивать?

HDD и SSD: надежный винтаж против скорости света и цены космоса

ТехИнсайдер
«Жалость губительна»: как помогают людям с таким диагнозом, как у Стивена Хокинга «Жалость губительна»: как помогают людям с таким диагнозом, как у Стивена Хокинга

Как выстроить эффективную систему помощи людям с болезнью БАС

Forbes
Отец телевидения Владимир Зворыкин: история изобретения, изменившего мир Отец телевидения Владимир Зворыкин: история изобретения, изменившего мир

Почему отец телевидения Владимир Зворыкин возненавидел свое творение

ТехИнсайдер
Природный «паспортный контроль»: что такое линия Уоллеса и почему птицы и животные никогда ее не пересекают Природный «паспортный контроль»: что такое линия Уоллеса и почему птицы и животные никогда ее не пересекают

Линия Уоллеса: что это за явление, как ученые его обнаружили и объяснили

ТехИнсайдер
Точки над ИИ: почему не вся автоматизация одинаково полезна Точки над ИИ: почему не вся автоматизация одинаково полезна

Чего стоит погоня за технологичностью, почему ИИ пока не может заменить человека

Forbes
«Я раскачивалась и успокаивалась. Это было похоже на наркотик»: 7 увлекательных книг о психических расстройствах «Я раскачивалась и успокаивалась. Это было похоже на наркотик»: 7 увлекательных книг о психических расстройствах

В подборке книг — исследования на темы шизофрении, аутизма и зависимостей

Правила жизни
Органический синтез в молекулярных облаках Органический синтез в молекулярных облаках

В космосе обнаружена очередная сложная органическая молекула

Знание – сила
«Смешные» упражнения помогли при синдроме сухого глаза «Смешные» упражнения помогли при синдроме сухого глаза

«Смешные» упражнения эффективно облегчают симптомы синдрома сухого глаза

N+1
Человек стал вожаком птичьей стаи и ведет птиц по маршрутам миграции Человек стал вожаком птичьей стаи и ведет птиц по маршрутам миграции

Команда экологов Waldrappteam учит перелетных птиц находить пути миграции

ТехИнсайдер
Гастрономия Гастрономия

Лучшие шефы: признанные и начинающие. Места, куда всегда хочется вернуться

RR Люкс.Личности.Бизнес.
Бан и вылет. За какие проступки сурово наказывали футбольные клубы Бан и вылет. За какие проступки сурово наказывали футбольные клубы

Примеры, когда футбольный клуб вопреки игре вылетал или получал дисквалификацию

СНОБ
Спагетти-монстр Спагетти-монстр

SWM G01F: китайский кроссовер для Cпиди-гонщика

Автопилот
Творческий поток: почему лучшие идеи приходят к нам в самых неожиданных ситуациях Творческий поток: почему лучшие идеи приходят к нам в самых неожиданных ситуациях

Что такое «блуждание ума» и почему оно помогает найти неожиданные решения

Forbes
«Ромул», «Прометей», «Завет» и другие фильмы про Чужих — от худшего к лучшему «Ромул», «Прометей», «Завет» и другие фильмы про Чужих — от худшего к лучшему

Лучшие и худшие фильмы о жутких и опасных ксеноморфах

Правила жизни
Роборука отсоединилась от манипулятора и поползла Роборука отсоединилась от манипулятора и поползла

Роборука передвигается на пальцах и захватывает предметы

N+1
Элемент революции Элемент революции

Автомобильный спорт стоит на пороге революции. И имя ей – водород

ТехИнсайдер
Конечно, Вася Конечно, Вася

Василий Баста Вакуленко о самокритике, драках и творческих альтер эго

Men Today
Антиалкогольная компания Антиалкогольная компания

Десятка выдающихся пьяниц, алкоголиков и выпивающих героев мирового киноэкрана

Weekend
Расул вошел, Расул вышел Расул вошел, Расул вышел

Jetour T2 как пример новой внедорожности

Автопилот
Наука, способная предсказывать: как математика помогает бороться с глобальным потеплением Наука, способная предсказывать: как математика помогает бороться с глобальным потеплением

Какую фундаментальную роль математика играет для технологического прогресса?

Inc.
Взаимовыгодный альянс Взаимовыгодный альянс

Покупка U. S. Steel японскими металлургами имеет выгоду для обеих сторон

Монокль
«Внеждановщина: Советская послевоенная политика в области культуры как диалог с воображаемым Западом» «Внеждановщина: Советская послевоенная политика в области культуры как диалог с воображаемым Западом»

Что не понравилось Сталину в фильме «Большая жизнь»

N+1
Пастельное настроение Пастельное настроение

10 способов сделать дом уютным осенью

Лиза
Как устроена кабина машиниста поезда метро Как устроена кабина машиниста поезда метро

Дисплеи, рычаги, кнопки — все это в изобилии есть в кабине машиниста метро

ТехИнсайдер
5 бытовых приборов, которые потребляют больше всего энергии (и разоряют ваш кошелек) 5 бытовых приборов, которые потребляют больше всего энергии (и разоряют ваш кошелек)

Какая техника ежемесячно покушается на ваши сбережения

ТехИнсайдер
Саранча толпится на улицах Саранча толпится на улицах

Для моделирования городских потоков можно использовать саранчу

Знание – сила
Абьюзивные отношения в советском кино: разбор на примере Гоши и Кати из фильма «Москва слезам не верит» Абьюзивные отношения в советском кино: разбор на примере Гоши и Кати из фильма «Москва слезам не верит»

Как «Москва слезам не верит» рассказывает историю абьюзивных отношений

Psychologies
Эти модные детали интерьера круто выглядят на картинках, но разочаровывают в быту: предупреждение дизайнера Эти модные детали интерьера круто выглядят на картинках, но разочаровывают в быту: предупреждение дизайнера

Модные интерьерные решения, которые абсолютно непригодны в быту

VOICE
Открыть в приложении