Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Великий миф о поливитаминах: как таблетки могут нанести вред вашей иммунной системе Великий миф о поливитаминах: как таблетки могут нанести вред вашей иммунной системе

Ошибочное мнение о витаминах, повышающих иммунитет

ТехИнсайдер
Большое плавание Крузенштерна Большое плавание Крузенштерна

Во сколько обошлась первая русская кругосветка

Деньги
Японцы сделали роборуку с человеческими мышцами Японцы сделали роборуку с человеческими мышцами

Японские инженеры разработали биогибридную руку с человеческими мышцами

N+1
Мошенники притворились Брэдом Питтом и обманули поклонниц на миллионы: почему женщины так легко верят интернет-любовникам? Мошенники притворились Брэдом Питтом и обманули поклонниц на миллионы: почему женщины так легко верят интернет-любовникам?

Жулики используют различные уловки, чтобы вызвать доверие и манипулировать

Psychologies
План Б План Б

Как пережить несчастье, собраться с силами и снова ощутить радость жизни

kiozk originals
Как после Второй мировой войны возрождались автомобильные гонки Как после Второй мировой войны возрождались автомобильные гонки

Глава из работы Жана-Луи Монсе «Большая книга Формулы-1»

СНОБ
Неожиданные концовки в литературе: книги, которые взорвали наши умы Неожиданные концовки в литературе: книги, которые взорвали наши умы

Произведения, которые оставляют долгий след в памяти благодаря своим финалам

Maxim
Роборука отсоединилась от манипулятора и поползла Роборука отсоединилась от манипулятора и поползла

Роборука передвигается на пальцах и захватывает предметы

N+1
Как появился ярлык Made in China. Отрывок из книги Как появился ярлык Made in China. Отрывок из книги

Как появился ярлык Made in China, что он значит для производителей и покупателей

СНОБ
It depends It depends

Полина Гагарина с психологом о зависимостях, испытывающих нас и наших детей

Psychologies
Уроки смыло наводнением: как климатический кризис мешает школьникам хорошо учиться Уроки смыло наводнением: как климатический кризис мешает школьникам хорошо учиться

Наиболее яркие примеры влияния погоды на образовательный процесс

Forbes
Черные буквы и веревка: как две девушки сделали 14 млн рублей на модных гирляндах Черные буквы и веревка: как две девушки сделали 14 млн рублей на модных гирляндах

Как гирлянда превратилась в бизнес, за которым следит более 20 000 человек

Forbes
Что такое раздаточная коробка и для чего она нужна в автомобиле Что такое раздаточная коробка и для чего она нужна в автомобиле

Все о раздаточной коробке: назначение, виды, неисправности

РБК
Опухоли повысили риск развития сердечно-сосудистых заболеваний Опухоли повысили риск развития сердечно-сосудистых заболеваний

Частота развития сердечно-сосудистых заболеваний выше у пациентов с опухолями

N+1
Дмитрий Астрахан: «Страшно не объясниться в любви, может порушиться жизнь» Дмитрий Астрахан: «Страшно не объясниться в любви, может порушиться жизнь»

«Хотелось сделать театр, про который зритель знает: там будет ярко, зрелищно»

Караван историй
«Ужасающее число»: как разобраться в устройстве мира с помощью математики «Ужасающее число»: как разобраться в устройстве мира с помощью математики

Как математические идеи и методы могут быть применены к реальным проблемам?

Forbes
Проживание вдалеке от магазинов в детстве повысило риск ожирения в подростковом возрасте Проживание вдалеке от магазинов в детстве повысило риск ожирения в подростковом возрасте

Как ограниченный доступ к продуктам питания связан с развитием ожирения?

N+1
ChatGPT превзошел врачей в оценке респираторных заболеваний у детей ChatGPT превзошел врачей в оценке респираторных заболеваний у детей

В оценке респираторных заболеваний ChatGPT показал лучшие результаты, чем врачи

ТехИнсайдер
Как самый большой парусник мира погиб в пятницу, 13: странное крушение Thomas W. Lawson Как самый большой парусник мира погиб в пятницу, 13: странное крушение Thomas W. Lawson

Для огромной семимачтовой шхуны в тот день все пошло наперекосяк

ТехИнсайдер
Фильмы, где актеры сыграли сразу нескольких героев Фильмы, где актеры сыграли сразу нескольких героев

Многоликий артист — редкость, но великий плюс любому фильму

Maxim
Главный помощник рыбаков: как эхолот помогает выследить добычу Главный помощник рыбаков: как эхолот помогает выследить добычу

Как чудо техники, эхолот, помогает выследить рыбу и не сесть на мель

ТехИнсайдер
Осенняя аллергия Осенняя аллергия

Сезонная аллергия может проявляться и с наступлением холодов

Здоровье
Ах, какая женщина! Ах, какая женщина!

История жизни и любви Софи Лорен

Лиза
«Не живи»: 10 жестоких родительских сценариев «Не живи»: 10 жестоких родительских сценариев

Какие ошибки допускают родители и как они могут отразиться на детях?

Psychologies
На прожарке мне катастрофически некомфортно: интервью с Евгением Чебатковым На прожарке мне катастрофически некомфортно: интервью с Евгением Чебатковым

Евгений Чебатков: каково это — быть любимцем публики и объектом споров

СНОБ
Дрон-охранник с искусственным интеллектом: как разработчики научили беспилотник следить за порядком в городе Дрон-охранник с искусственным интеллектом: как разработчики научили беспилотник следить за порядком в городе

«Контур» — комбинация дрона-охранника и стационарной камеры наблюдения

ТехИнсайдер
Иконография детства Иконография детства

Таня Рауш: по ту сторону фотографии

Weekend
«Лада Интрига? Нет, не слышал»: 10 смешных, прикольных и просто странных названий, которые могли быть у моделей АвтоВАЗ «Лада Интрига? Нет, не слышал»: 10 смешных, прикольных и просто странных названий, которые могли быть у моделей АвтоВАЗ

Около 30 названий моделей авто, припасенных АвтоВАЗом для себя

ТехИнсайдер
А зима не за горами… А зима не за горами…

Для консервации яхты на зиму необходимо выполнить несколько важных действий

Y Magazine
Почему Луна не падает на Землю: 5 случайных фактов о мире, которые известны благодаря физике Почему Луна не падает на Землю: 5 случайных фактов о мире, которые известны благодаря физике

Что физика помогла нам узнать о мире вокруг нас?

ТехИнсайдер
Открыть в приложении