Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Астрономы заметили в космосе таинственную идеальную сферу Астрономы заметили в космосе таинственную идеальную сферу

Объект Телиос: совершенная сфера неизвестного происхождения

ТехИнсайдер
Сначала на себя Сначала на себя

Как понять, что ты обделяешь самого главного человека в своей жизни

VOICE
Как приручить маркетинг и использовать его на все 100: объясняет эксперт Дмитрий Бескромный Как приручить маркетинг и использовать его на все 100: объясняет эксперт Дмитрий Бескромный

Как развить свой продукт с помощью digital-маркетинга

VOICE
Фильмы, где актеры сыграли сразу нескольких героев Фильмы, где актеры сыграли сразу нескольких героев

Многоликий артист — редкость, но великий плюс любому фильму

Maxim
Это не то,что вы подумали: страпонтен, клитория, епитрахиль — слова, за которые вам не должно быть стыдно Это не то,что вы подумали: страпонтен, клитория, епитрахиль — слова, за которые вам не должно быть стыдно

О словах, за которые вам не должно быть стыдно, пусть и звучат они забавно

ТехИнсайдер
Неожиданные концовки в литературе: книги, которые взорвали наши умы Неожиданные концовки в литературе: книги, которые взорвали наши умы

Произведения, которые оставляют долгий след в памяти благодаря своим финалам

Maxim
Слова и музыка Слова и музыка

Елизавета Базыкина удивляет спокойствием не только к успеху, но и к неудачам

VOICE
Фен-шуй для маленькой квартиры или студии: как создать гармоничное пространство Фен-шуй для маленькой квартиры или студии: как создать гармоничное пространство

Эти простые советы помогут тебе сделать пространство более гармоничным

VOICE
Почувствуй разницу Почувствуй разницу

Самодостаточный мужчина VS инфантильный мальчик: учимся распознавать

Лиза
Московская телегенция Московская телегенция

Telegram с человеческим лицом

Men Today
Битва за каждую яхту Битва за каждую яхту

Кирилл Шабалов о том, что происходит на российском брокеражном рынке

Y Magazine
Быстрее поездá, выше напряжение – сильнее промышленность! Быстрее поездá, выше напряжение – сильнее промышленность!

Достоинства и недостатки двух основных систем тягового электроснабжения

Наука и техника
Психолог Виктор Богомолов: Это миф, что женщины в отношениях ищут любовь, а мужчины — секс Психолог Виктор Богомолов: Это миф, что женщины в отношениях ищут любовь, а мужчины — секс

Психолог Виктор Богомолов — о том, как меняется роль мужчины в обществе

СНОБ
Исмаиль Кадарэ «Генерал мертвой армии». Отрывок из романа Исмаиль Кадарэ «Генерал мертвой армии». Отрывок из романа

Выдающий роман классика албанской литературы выходит в октябре

СНОБ
Магия убеждения: почему законы написаны сложным языком Магия убеждения: почему законы написаны сложным языком

Почему язык законов не меняется под давлением всеобщего тренда на упрощение?

ТехИнсайдер
5 неочевидных признаков того, что ваши отношения идут к концу 5 неочевидных признаков того, что ваши отношения идут к концу

Как понять, боретесь ли вы с временными трудностями, или союзу пришел конец?

VOICE
Спички, веревки и контрабандная проволока: как Гарри Бардин изменил наше представление о мультфильмах Спички, веревки и контрабандная проволока: как Гарри Бардин изменил наше представление о мультфильмах

О работе Гарри Бардина и о пяти самых необычных его мультфильмах

Правила жизни
Родителям: как останавливать конфликты между сестрами и братьями Родителям: как останавливать конфликты между сестрами и братьями

Не усугубляете ли вы с помощью этих фраз конфликты между вашими детьми?

Psychologies
История прямохождения. Отрывок из книги палеоантрополога «Первые шаги» История прямохождения. Отрывок из книги палеоантрополога «Первые шаги»

Отрывок из книги о том, как и почему люди стали прямоходящими

СНОБ
«Ты не похожа на других женщин»: почему это плохой комплимент и как его можно сделать лучше «Ты не похожа на других женщин»: почему это плохой комплимент и как его можно сделать лучше

Давайте разберемся, что стоит за фразой «ты не такая, как все девушки»

Psychologies
Звезды сошлись Звезды сошлись

Анастасия Уколова — о роли мечты в байопике «Комбинация»

Grazia
Эта контрастная планета Эта контрастная планета

«Аэлита» Якова Протазанова — первый большой фильм о космическом полете

Наука
«Золушка — это я» «Золушка — это я»

Екатерина Вилкова о теме сказок, сказочных ролях и чудесах в жизни

OK!
Респект Респект

Фотограф Максим Чуркин каждую съемку превращает в живопись музейного уровня

Собака.ru
Вторая сверхзвуковая Вторая сверхзвуковая

Уже в 1968 году был первый полет советского пассажирского сверхзвукового лайнера

ТехИнсайдер
«Насилия в мире все меньше»: как Стивен Пинкер стал главным оптимистом современности «Насилия в мире все меньше»: как Стивен Пинкер стал главным оптимистом современности

Стивен Пинкер: чему можно поучиться у этого необычного мыслителя-оптимиста?

Psychologies
Как перестать смущаться: 5 шагов для преодоления застенчивости Как перестать смущаться: 5 шагов для преодоления застенчивости

Практики по борьбе с застенчивостью, которые подходят большинству людей

Psychologies
Ханты-Мансийск: мамонты и современное искусство Ханты-Мансийск: мамонты и современное искусство

В равнинах Западной Сибири, на слиянии Оби и Иртыша находится Ханты-Мансийск

Psychologies
Дрон-охранник с искусственным интеллектом: как разработчики научили беспилотник следить за порядком в городе Дрон-охранник с искусственным интеллектом: как разработчики научили беспилотник следить за порядком в городе

«Контур» — комбинация дрона-охранника и стационарной камеры наблюдения

ТехИнсайдер
Чем опасен секонд-хенд? Чем опасен секонд-хенд?

Любителям секонд-хенда не стоит расслабляться: вот несколько его опасностей

Здоровье
Открыть в приложении