Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Обзор Hyundai Staria: так ли хорошо едет «спейс шаттл», как выглядит Обзор Hyundai Staria: так ли хорошо едет «спейс шаттл», как выглядит

Hyundai Staria: Внеземной минивэн по земным ценам

ТехИнсайдер
Всё, что тебе нужно знать перед походом к портнихе: 9 советов по пошиву одежды на заказ Всё, что тебе нужно знать перед походом к портнихе: 9 советов по пошиву одежды на заказ

Собираешься подогнать пиджак или заказать платье? Эти советы тебе пригодятся

VOICE
До эпохи айфона: 10 телефонов, о которых мечтали все До эпохи айфона: 10 телефонов, о которых мечтали все

Раскладушки, встроенные игровые консоли — добро пожаловать в зал славы телефонов

Inc.
Первая прямая телетрансляция Первая прямая телетрансляция

Днём рождения немецкого телевидения принято считать 22 марта 1935 года

Дилетант
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Ложь, чертеж и провокация Ложь, чертеж и провокация

Auto Union Typ 52 Schnellsportwagen – автомобиль, которого не было

Автопилот
Бурлацкий стан Бурлацкий стан

Чем знаменито село Ширяево в Самарской области?

Отдых в России
Искусство Искусство

Важнейшие арт-события года по версии RR

RR Люкс.Личности.Бизнес.
Уроки смыло наводнением: как климатический кризис мешает школьникам хорошо учиться Уроки смыло наводнением: как климатический кризис мешает школьникам хорошо учиться

Наиболее яркие примеры влияния погоды на образовательный процесс

Forbes
«Каждый кризис открывает нам новые возможности» «Каждый кризис открывает нам новые возможности»

Людмила Михайлова о плюсах вертикальной интеграции бизнеса и миссии «Черкизово»

Агроинвестор
В чем поэзия, брат? В чем поэзия, брат?

Борис Рыжий как поэт и как персонаж

Weekend
Как архитектор Олег Карлсон оказался спасителем артхаусного театра в Москве Как архитектор Олег Карлсон оказался спасителем артхаусного театра в Москве

«От барака до барокко»: как архитектор Олег Карлсон преобразовал театр

Forbes
И снова стать собой! И снова стать собой!

Как вернуть вкус к жизни: 12 рабочих приемов против апатии

Лиза
Что такое мукбанг и почему людям нравится смотреть, как едят другие Что такое мукбанг и почему людям нравится смотреть, как едят другие

Почему одним людям мукбанг нравится, а других раздражает?

Psychologies
«Я не верю, что существуют тупиковые ситуации» «Я не верю, что существуют тупиковые ситуации»

«Шуйские ситцы» запускает уникальный проект по производству ткани из дерева

Монокль
Таинственный организм, обнаруженный в озере Моно, может переписать историю жизни Таинственный организм, обнаруженный в озере Моно, может переписать историю жизни

Ученые обнаружили в озере Моно новый вид одноклеточных организмов

ТехИнсайдер
Бренд или не бренд: при поиске работы треть соискателей не доверяют франшизам Бренд или не бренд: при поиске работы треть соискателей не доверяют франшизам

Почему соискатели не готовы рассматривать вакансии в компаниях-франчайзи?

Forbes
Разница в таблетках Разница в таблетках

Дешевые аналоги дорогих лекарств – стоит ли экономить на здоровье?

Лиза
На озеленение Красноярска: как устроен внебиржевой рынок «народных» облигаций На озеленение Красноярска: как устроен внебиржевой рынок «народных» облигаций

В чем особенность народных облигаций и почему они выгодны государству

Forbes
Комната ученика Комната ученика

Интерьеры, в которых ребенку комфортно не только учиться, но и играть, и мечтать

Новый очаг
Действительно ли люди под алкоголем говорят то, что у них на трезвом уме? Действительно ли люди под алкоголем говорят то, что у них на трезвом уме?

Считается, что пьяный человек говорит правду и только правду, но так ли это?

ТехИнсайдер
Россияне полюбили избинг. Почему отдых в сельских домиках так нравится молодежи? Россияне полюбили избинг. Почему отдых в сельских домиках так нравится молодежи?

Что такое избинг и почему молодых людей привлекает загородный отдых

Psychologies
Как повысить уровень жизни: техника маленьких шагов Как повысить уровень жизни: техника маленьких шагов

Что такое «денежный потолок» и как его расширить, улучшив качество жизни

Psychologies
Витебская Джоконда: как художница Вера Ермолаева превращала детские книги в авангард Витебская Джоконда: как художница Вера Ермолаева превращала детские книги в авангард

Как иллюстрации к детским стихам могут быть объектом авангардного эксперимента

Forbes
Дебелый лотос Дебелый лотос

«Идеальная пара»: еще один сериал об убийстве с классовым подтекстом

Weekend
Ученые впервые получили снимки поверхности Полярной звезды Ученые впервые получили снимки поверхности Полярной звезды

Астрономы наконец сделали снимки Полярной звезды с высоким разрешением

ТехИнсайдер
(Не) привязаться к психотерапевту (Не) привязаться к психотерапевту

Стоит ли привязываться к психологу и бороться с возникшей привязанностью?

Psychologies
Вера в чудеса Вера в чудеса

Аттракционы небольшого города, раскинувшегося на обоих берегах Волги, — Тутаева

Отдых в России
Творческий поток: почему лучшие идеи приходят к нам в самых неожиданных ситуациях Творческий поток: почему лучшие идеи приходят к нам в самых неожиданных ситуациях

Что такое «блуждание ума» и почему оно помогает найти неожиданные решения

Forbes
Генная терапия сделала зрение людей с наследственной болезнью в 10 000 раз лучше Генная терапия сделала зрение людей с наследственной болезнью в 10 000 раз лучше

Специфическое заболевание амавроз Лебера научились лечить генной терапией

ТехИнсайдер
Открыть в приложении