Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как путешествия меняют нас: 5 не заметных глазу трансформаций Как путешествия меняют нас: 5 не заметных глазу трансформаций

Как путешествия влияют на наше ментальное и физическое здоровье?

ТехИнсайдер
«Русагро» переработает рапс в Кузбассе «Русагро» переработает рапс в Кузбассе

На будущем предприятии ГК «Русагро» планируется перерабатывать 1 млн т рапса

Агроинвестор
Образование без серверов: как и зачем использовать облачные технологии вузам Образование без серверов: как и зачем использовать облачные технологии вузам

Использование облачных технологий в процессе образования улучшает успеваемость

Forbes
Плоды просвещения Плоды просвещения

При всей работоспособности Дмитрий Волков был истинным сыном века

Дилетант
Девушки и яйца: как стильные и вкусные завтраки приносят сотни миллионов Девушки и яйца: как стильные и вкусные завтраки приносят сотни миллионов

Как две девушки сделали бизнес на блюдах с яйцами?

Forbes
«Внеждановщина: Советская послевоенная политика в области культуры как диалог с воображаемым Западом» «Внеждановщина: Советская послевоенная политика в области культуры как диалог с воображаемым Западом»

Что не понравилось Сталину в фильме «Большая жизнь»

N+1
Роборука отсоединилась от манипулятора и поползла Роборука отсоединилась от манипулятора и поползла

Роборука передвигается на пальцах и захватывает предметы

N+1
Будущее пищевой промышленности: меньше газов — больше искусственного интеллекта Будущее пищевой промышленности: меньше газов — больше искусственного интеллекта

Что сейчас актуально среди технологий будущего для пищевой промышленности

Forbes
Уютное и доброе фэнтези: 5 бестселлеров и новинок для осеннего чтения Уютное и доброе фэнтези: 5 бестселлеров и новинок для осеннего чтения

Атмосферные, согревающие истории поднимут настроение холодными вечерами

Maxim
Охота за интересным Охота за интересным

Шесть российских стриминговых платформ, у которых есть будущее

Монокль
«Золушка — это я» «Золушка — это я»

Екатерина Вилкова о теме сказок, сказочных ролях и чудесах в жизни

OK!
Писатель Андрей Арьев: Довлатов был человеком, готовым сорваться в любую минуту Писатель Андрей Арьев: Довлатов был человеком, готовым сорваться в любую минуту

Писатель Андрей Арьев — про своего друга Довлатова

СНОБ
Абьюзивные отношения в советском кино: разбор на примере Гоши и Кати из фильма «Москва слезам не верит» Абьюзивные отношения в советском кино: разбор на примере Гоши и Кати из фильма «Москва слезам не верит»

Как «Москва слезам не верит» рассказывает историю абьюзивных отношений

Psychologies
Загадки русского языка: почему есть лето бабье, но нет мужичьего? Загадки русского языка: почему есть лето бабье, но нет мужичьего?

Почему лето называется именно бабьим?

ТехИнсайдер
Ничего личного: как строительная корпорация США создавала советскую индустрию Ничего личного: как строительная корпорация США создавала советскую индустрию

Как американская компания Bechtel Corporation помогала строить СССР

Forbes
Удержать лицо Удержать лицо

Какие лифтинг-методики сегодня реально работают

Добрые советы
Культ удовольствия Культ удовольствия

Гедонизм — это хорошо или плохо?

Добрые советы
От Библии до Хичкока: историк — о том, что скрывают культурные коды От Библии до Хичкока: историк — о том, что скрывают культурные коды

История осознания и становления собой через взаимодействие с мировой культурой

РБК
Если устала от детей Если устала от детей

Что на самом деле тебя истощает и как вернуться в ресурс

Лиза
Получено экспериментальное подтверждение квантовой природы сознания Получено экспериментальное подтверждение квантовой природы сознания

Возможно, сознание связано с квантовыми процессами в микротрубочках нейронов

ТехИнсайдер
Зачем нужна астрохимия? Зачем нужна астрохимия?

Чем занимается астрохимия, когда и как она выделилась в самостоятельную науку

Знание – сила
Как простить родителей за детские травмы? Как простить родителей за детские травмы?

Как простить родителей за детские травмы и как это облегчит нашу жизнь?

Psychologies
Девелопер широкого профиля Девелопер широкого профиля

Как «Мармакс» улучшает городское пространство Рязани

Монокль
Пусть не говорят Пусть не говорят

Давай разберемся, чем и почему ты можешь раздражать других сотрудников

VOICE
Комната ученика Комната ученика

Интерьеры, в которых ребенку комфортно не только учиться, но и играть, и мечтать

Новый очаг
Ученый Якимов рассказал, почему в России ужасные дороги Ученый Якимов рассказал, почему в России ужасные дороги

Можно ли в российских реалиях строить добротные долговечные дороги?

ТехИнсайдер
Проживание вдалеке от магазинов в детстве повысило риск ожирения в подростковом возрасте Проживание вдалеке от магазинов в детстве повысило риск ожирения в подростковом возрасте

Как ограниченный доступ к продуктам питания связан с развитием ожирения?

N+1
Чип, создавший современный мир Чип, создавший современный мир

Попытка понять законы развития важнейшей отрасли современной экономики

Монокль
Что такое мукбанг и почему людям нравится смотреть, как едят другие Что такое мукбанг и почему людям нравится смотреть, как едят другие

Почему одним людям мукбанг нравится, а других раздражает?

Psychologies
Кто придумал Гамлета? Кто придумал Гамлета?

Гамлет, принц датский, впервые увидел свет задолго до Шекспира

Дилетант
Открыть в приложении