Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ученые объяснили, как идеи становятся вирусными, и почему все знают про «рыбов» Ученые объяснили, как идеи становятся вирусными, и почему все знают про «рыбов»

Почему одни идеи становятся вирусными, а другие просто исчезают?

ТехИнсайдер
Нужен ли вам подержанный Range Rover? Нужен ли вам подержанный Range Rover?

Б/у Range Rover: стоит ли брать и чего ждать от подержанного автомобиля?

4x4 Club
Как роботы захватывали ПМЭФ: от диковинки до обыденности Как роботы захватывали ПМЭФ: от диковинки до обыденности

Как на примере роботов ПМЭФ можно проследить путь прорывной технологии

Inc.
«Прощай, United States!» Пароход размером больше «Титаника» станет мега-рифом «Прощай, United States!» Пароход размером больше «Титаника» станет мега-рифом

Корабль United States погибает, чтобы наконец начать приносить пользу

ТехИнсайдер
Эта привычка может повысить риск развития деменции на 43% Эта привычка может повысить риск развития деменции на 43%

Употребление большого количества сахара может повысить риск развития деменции

ТехИнсайдер
От Библии до Хичкока: историк — о том, что скрывают культурные коды От Библии до Хичкока: историк — о том, что скрывают культурные коды

История осознания и становления собой через взаимодействие с мировой культурой

РБК
Электроусилитель руля. Как он работает и чем отличается от гидроусилителя Электроусилитель руля. Как он работает и чем отличается от гидроусилителя

Как электроусилитель руля помогает водителю?

РБК
Путешествия Путешествия

Уникальные локации, эталонный сервис и необычные предложения в отелях мира

RR Люкс.Личности.Бизнес.
Пусть не говорят Пусть не говорят

Давай разберемся, чем и почему ты можешь раздражать других сотрудников

VOICE
Недвижимость Недвижимость

Российские девелоперы удивляют яркими проектами мирового уровня

RR Люкс.Личности.Бизнес.
«Я пишу здесь только правду». Отрывок из дневников Ольги Берггольц «Я пишу здесь только правду». Отрывок из дневников Ольги Берггольц

Отрывок из дневниковых записях о последних днях жизни мужа Ольги Берггольц

СНОБ
Зайти в IT: зачем отраслевые компании выходят на рынок информтехнологий Зайти в IT: зачем отраслевые компании выходят на рынок информтехнологий

Зачем крупные отраслевые игроки решают коммерциализировать свои IT-решения?

Forbes
Интуиция или тревога: каким бывает предчувствие и как с ним справиться Интуиция или тревога: каким бывает предчувствие и как с ним справиться

Как освободиться от излишней тревожности, чтобы жить в спокойствии?

Psychologies
Артиллерия в новом веке Артиллерия в новом веке

Основные направления развития рынка артиллерийского вооружения

Обозрение армии и флота
Премьера Премьера

Смотрим в кино «антибайопик» уральского поэта Бориса Рыжего

Собака.ru
Жили-были Жили-были

История наших героев похожа на сказку, но завязка в ней совсем иная

Seasons of life
Елизавета Базыкина Елизавета Базыкина

24-летняя звезда Театра на Бронной Елизавета Базыкина — артистка новой формации

Собака.ru
Оттолкнуться от дна Оттолкнуться от дна

Из-за чего могут исчезнуть десятки российских рек?

Наука
«Обе две»: драмеди с Кристиной Асмус, в котором женщины переосмысляют материнство «Обе две»: драмеди с Кристиной Асмус, в котором женщины переосмысляют материнство

Фильм «Обе две»: душевный и откровенный разговор о том, что болит у многих

Forbes
Большое плавание Крузенштерна Большое плавание Крузенштерна

Во сколько обошлась первая русская кругосветка

Деньги
Эффекта ноль Эффекта ноль

4 самые бесполезные косметологические процедуры — мнение врача

Лиза
Роборука отсоединилась от манипулятора и поползла Роборука отсоединилась от манипулятора и поползла

Роборука передвигается на пальцах и захватывает предметы

N+1
Видкун Квислинг, символ предательства Видкун Квислинг, символ предательства

Никто не получил такую порцию презрения при жизни и после, как Видкун Квислинг

Дилетант
Раньше выйдешь на пенсию и сидишь на лавочке. А сейчас можно снова стать студенткой. Как реализовать себя на пенсии Раньше выйдешь на пенсию и сидишь на лавочке. А сейчас можно снова стать студенткой. Как реализовать себя на пенсии

Как оставаться активным в старшем возрасте, где искать для этого мотивацию?

СНОБ
Мягкая сила Мягкая сила

Выбираем матрас для комфортного сна

Лиза
От создателей «Южного парк» и «Офиса»: самые высокооплачиваемые шоураннеры — 2024 От создателей «Южного парк» и «Офиса»: самые высокооплачиваемые шоураннеры — 2024

Рейтинг самых высокооплачиваемых шоураннеров 2024 года

Forbes
Писатель Андрей Арьев: Довлатов был человеком, готовым сорваться в любую минуту Писатель Андрей Арьев: Довлатов был человеком, готовым сорваться в любую минуту

Писатель Андрей Арьев — про своего друга Довлатова

СНОБ
Лираглутид эффективно снизил массу тела при ожирении у детей с шести лет Лираглутид эффективно снизил массу тела при ожирении у детей с шести лет

Терапия лираглутидом вполне эффективна у детей в возрасте 6–11 лет

N+1
Учимся у лучших! Узнайте правила и этикет британской королевской семьи Учимся у лучших! Узнайте правила и этикет британской королевской семьи

Вот что нужно учесть, чтобы следовать правилам британского королевского этикета

ТехИнсайдер
«Я сегодня смеюсь над собой... Мне так хочется счастья и ласки...» «Я сегодня смеюсь над собой... Мне так хочется счастья и ласки...»

Имя Александра Вертинского известно каждому в нашей стране, да и за рубежом

Караван историй
Открыть в приложении