Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

3D-печать домов, роботы-диагносты, космические двигатели и сверхпрочные ткани: как российские стартапы создают будущее 3D-печать домов, роботы-диагносты, космические двигатели и сверхпрочные ткани: как российские стартапы создают будущее

Подборка историй людей, которые двигают прогресс

ТехИнсайдер
Жадность города берет Жадность города берет

«Ненасытные люди»: черная комедия, подражающая братьям Коэн

Weekend
Сетевые дементоры: что такое теория «мертвого интернета» и вытеснит ли ИИ живых людей Сетевые дементоры: что такое теория «мертвого интернета» и вытеснит ли ИИ живых людей

Какие риски для современного мира представляет GPT-контент?

Forbes
Музыкант Сергей Сироткин: Помню, что «Велит нам петь» придумал после того, как прослушал несколько книг Стивена Кинга Музыкант Сергей Сироткин: Помню, что «Велит нам петь» придумал после того, как прослушал несколько книг Стивена Кинга

Интервью с музыкантом Сергеем Сироткиным

СНОБ
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
«Прогноз погоды на сто лет. Как меняется климат Земли и что с этим делать» «Прогноз погоды на сто лет. Как меняется климат Земли и что с этим делать»

Как изменение температуры приводит в движение экосистемы

N+1
Дочь за отца отвечает Дочь за отца отвечает

«Мой Марчелло»: знакомые и родственники в оммаже великому Мастроянни

Weekend
«Вера»: драма о контролирующей матери по культовой советской повести «Вера»: драма о контролирующей матери по культовой советской повести

Чем интересна адаптация повести «Вам и не снилось...» — драма «Вера»

Forbes
Космическая музыка. Polaris Dawn успешно завершил полет Космическая музыка. Polaris Dawn успешно завершил полет

Как прошел первый в мире выход в открытый космос гражданского экипажа

ТехИнсайдер
Не только скорость Не только скорость

Скорость у лодок Pershing не является альтернативой эстетики и комфорта

Y Magazine
Ненужный кубок: почему ФИФА не может выгодно продать права на клубный чемпионат мира Ненужный кубок: почему ФИФА не может выгодно продать права на клубный чемпионат мира

ФИФА так и не удалось заключить выгодный контракт на клубный чемпионат мира

Forbes
Снимаем барьеры Снимаем барьеры

Как бороться с психологическими барьерами, мешающими жить полноценной жизнью

Лиза
Агрономы с пропеллером Агрономы с пропеллером

На полях и над полями уже вовсю работают дроны. Агродроны

ТехИнсайдер
Небесная Европа Небесная Европа

Возможно, спутник Юпитера — место, где есть, пусть и самая примитивная, жизнь?

Знание – сила
«Это был последний шанс изменить жизнь» «Это был последний шанс изменить жизнь»

История о том, как жизнью человека управляли наркотики

Psychologies
Считавшийся рыбоядным или насекомоядным раннемеловой энанциорнис оказался любителем фруктов Считавшийся рыбоядным или насекомоядным раннемеловой энанциорнис оказался любителем фруктов

Оказалось, что раннемеловой энанциорнис питался плодами растений

N+1
Два века перемен: перипетии исторической памяти об Отечественной войне 1812 года Два века перемен: перипетии исторической памяти об Отечественной войне 1812 года

Как Отечественная война 1812 года закрепилась в сознании людей?

Знание – сила
Как правильно ухаживать за разделочными досками Как правильно ухаживать за разделочными досками

Поддержание досок в идеальном состоянии  — это не просто прихоть «красоты»

ТехИнсайдер
Как архитектор Олег Карлсон оказался спасителем артхаусного театра в Москве Как архитектор Олег Карлсон оказался спасителем артхаусного театра в Москве

«От барака до барокко»: как архитектор Олег Карлсон преобразовал театр

Forbes
Неподкупное содержание Неподкупное содержание

Искусствовед Сергей Попов — о диктате денег в современном арт-мире

СНОБ
Дорога жизни Дорога жизни

Сильное интервью с Александром Ильиным о роли в сериале “Трасса”

Men Today
Жизнь рядом с человеком с ПТСР: как общаться, чтобы помочь — подробная инструкция от психолога Жизнь рядом с человеком с ПТСР: как общаться, чтобы помочь — подробная инструкция от психолога

Как обращаться с человеком с посттравматическим стрессовым расстройством

Psychologies
Моложе, красивее, идеальнее: 5 пугающих фильмов о тяге к совершенству Моложе, красивее, идеальнее: 5 пугающих фильмов о тяге к совершенству

Фильмы, исследующие внутренние конфликты через изменения внешние

Psychologies
Не плохой парень Не плохой парень

Интервью актера Андрея Максимова — о критике и ролях «по вкусу».

СНОБ
Гардероб Гардероб

Лучшие вещи года сочетают элегантность с практичностью и новаторством

RR Люкс.Личности.Бизнес.
Жесткие рамки кланов, каст и корпораций: 10 книг в жанре бояръ-аниме Жесткие рамки кланов, каст и корпораций: 10 книг в жанре бояръ-аниме

Жанр бояръ-аниме  активно развивается и получает все новых и новых поклонников

Maxim
Пульс Дубая в ритме будущего Пульс Дубая в ритме будущего

Уникальный интерьер, в центре которого стоит любовь к современному искусству

SALON-Interior
Много вопросов, мало ответов: почему тесты на определение профессии не работают Много вопросов, мало ответов: почему тесты на определение профессии не работают

Кем быть? Как найти дело, которое не только нравится, но и приносит деньги?

Forbes
Морские губки отпугивают хищников ядовитым молибденом Морские губки отпугивают хищников ядовитым молибденом

У губок в Эйлатском заливе есть оригинальный способ отпугивания хищников

ТехИнсайдер
Русский частный космос. Наикратчайший путеводитель Русский частный космос. Наикратчайший путеводитель

Как устроена область частной космонавтики в нашей стране и что происходит сейчас

ТехИнсайдер
Открыть в приложении