Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Обнаружено, что верблюжье молоко уменьшает тяжесть астмы Обнаружено, что верблюжье молоко уменьшает тяжесть астмы

Как употребление верблюжьего молока снижает тяжесть астмы

ТехИнсайдер
Зерновозы для страны Зерновозы для страны

Задача по увеличению объемов поставок сельхозпродукции за рубеж поставлена

Агроинвестор
HDD и SSD накопители — в чем разница и стоит ли переплачивать? HDD и SSD накопители — в чем разница и стоит ли переплачивать?

HDD и SSD: надежный винтаж против скорости света и цены космоса

ТехИнсайдер
Губаны-чистильщики оценили размеры своего тела относительно других благодаря зеркалу Губаны-чистильщики оценили размеры своего тела относительно других благодаря зеркалу

Губаны-чистильщики способны формировать ментальный образ собственного тела

N+1
Девушки и яйца: как стильные и вкусные завтраки приносят сотни миллионов Девушки и яйца: как стильные и вкусные завтраки приносят сотни миллионов

Как две девушки сделали бизнес на блюдах с яйцами?

Forbes
Пираты в юбке: 5 неочевидных вопросов про разбойничьих капитанш Золотого века пиратства Пираты в юбке: 5 неочевидных вопросов про разбойничьих капитанш Золотого века пиратства

​​​​​​​Как пираткам удавалось избежать виселицы, когда мужчины уже были обречены

ТехИнсайдер
Премудрость букв Премудрость букв

Чтобы прочесть текст на латыни или на церковнославянском, мало знать язык

Вокруг света
Без лишних предисловий: Каневский и Сулим Без лишних предисловий: Каневский и Сулим

Леонид Каневский и Саша Сулим — главная динамическая пара прямо сейчас

Собака.ru
Спрятаться от всего мира Спрятаться от всего мира

Один из самых захватывающих маршрутов стартует на Бали и ведет к Нуса‑Тенггара

Y Magazine
Веселье без шумства Веселье без шумства

Как европейское искусство перестало бояться и полюбило вакханалии

Weekend
Соленый папоротник и мороженое из грибов: что пробовать на Камчатке Соленый папоротник и мороженое из грибов: что пробовать на Камчатке

Самые аутентичные блюда Камчатки

СНОБ
Ученые впервые изучили состав породы с обратной стороны Луны Ученые впервые изучили состав породы с обратной стороны Луны

О чем могут рассказать базальтовые породы с дальней стороны Луны

ТехИнсайдер
Александр Лазарев: «Мастер и Маргарита» — это очень личное. Рукописи не горят...» Александр Лазарев: «Мастер и Маргарита» — это очень личное. Рукописи не горят...»

«В Театре Маяковского я родился, воспитывался, начал выходить на сцену»

Караван историй
Эффекта ноль Эффекта ноль

4 самые бесполезные косметологические процедуры — мнение врача

Лиза
Фольклорист Александра Баркова: Считать меня язычницей — это какой-то тяжелый бред Фольклорист Александра Баркова: Считать меня язычницей — это какой-то тяжелый бред

Интервью с российским фольклористом Александрой Барковой

СНОБ
АЗС, ТРК, СУГ, КПГ: что все это значит и для чего нужно АЗС, ТРК, СУГ, КПГ: что все это значит и для чего нужно

Как устроена автозаправка и что значат аббревиатуры на вывесках

РБК
Как за минуту заточить ножницы: 5 лучших методов Как за минуту заточить ножницы: 5 лучших методов

Как правильно наточить ножницы в домашних условиях

ТехИнсайдер
Как строительство частной космической станции обернулось для Axiom Space проклятием Как строительство частной космической станции обернулось для Axiom Space проклятием

Кам Гаффарян, был пионером в области коммерческих космических полетов на МКС

Forbes
Куда хотят женщины Куда хотят женщины

Что могут рассказать нам фильмы для взрослых о женских предпочтениях

Men Today
«Бабий Яр. Реалии» «Бабий Яр. Реалии»

Фрагмент из книги о реакции евреев и их соседей на приказ явиться на расстрел

N+1
Клептомания: что это такое, причины заболевания, симптомы и методы лечения Клептомания: что это такое, причины заболевания, симптомы и методы лечения

Разбираем, что такое клептомания простыми словами

Psychologies
«Золушка — это я» «Золушка — это я»

Екатерина Вилкова о теме сказок, сказочных ролях и чудесах в жизни

OK!
Нужен ли вам подержанный Range Rover? Нужен ли вам подержанный Range Rover?

Б/у Range Rover: стоит ли брать и чего ждать от подержанного автомобиля?

4x4 Club
Антик с гвоздикой Антик с гвоздикой

В наше время ароматная гвоздика из драгоценного товара стала заурядной пряностью

Наука и жизнь
Что лучше — пиво или водка Что лучше — пиво или водка

Давайте рассудим противостояние титанов с точки зрения пользы, вреда и вкуса

Maxim
10 фактов про современную Монголию, которые мало кто знает 10 фактов про современную Монголию, которые мало кто знает

Монголия: самая холодная столица, самое большое производство кашемира

Maxim
Нарядилась Нарядилась

Александра Ребенок — о том, как вырасти в маминых платьях, а потом — из них

Новый очаг
Если не будут подтверждать, отключим связь: как ужесточатся условия покупки сим-карт Если не будут подтверждать, отключим связь: как ужесточатся условия покупки сим-карт

Как в России поменяются правила покупки сим-карт и услуги мобильной связи

Forbes
Почему современные женщины хотят замуж? Почему современные женщины хотят замуж?

Чего женщины ждут от штампа в паспорте и какие подводные камни их встретят?

Psychologies
Сбой системы Сбой системы

Как вовремя понять, что ребенка пора вести на прием к специалисту?

Лиза
Открыть в приложении