Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как научиться довольствоваться тем, что есть, и перестать сравнивать свою жизнь с чужими Как научиться довольствоваться тем, что есть, и перестать сравнивать свою жизнь с чужими

Как перестать вечно гнаться за идеалом?

ТехИнсайдер
7 вещей, которые нельзя мыть средством для окон, и 7, которые станут после него идеально чистыми 7 вещей, которые нельзя мыть средством для окон, и 7, которые станут после него идеально чистыми

Эта жидкость может больше, чем ты думаешь, но иногда ее лучше не использовать

VOICE
Как искусственный интеллект меняет бьюти-индустрию Как искусственный интеллект меняет бьюти-индустрию

Как технологии ИИ ежедневно помогают бьюти-мастерам в работе?

Inc.
Тайна Ивана Павлова Тайна Ивана Павлова

Аспекты научной биографии Ивана Павлова, которые обычно остаются за кадром

Знание – сила
Как быстро возбудить девушку: 12 способов (гид, который стоит держать под рукой) Как быстро возбудить девушку: 12 способов (гид, который стоит держать под рукой)

Не знаете, как быстро возбудить девушку до предела? Вы по адресу!

Playboy
Дрон-охранник с искусственным интеллектом: как разработчики научили беспилотник следить за порядком в городе Дрон-охранник с искусственным интеллектом: как разработчики научили беспилотник следить за порядком в городе

«Контур» — комбинация дрона-охранника и стационарной камеры наблюдения

ТехИнсайдер
Найти опору в теле Найти опору в теле

Как с помощью тела сохранить спокойствие и устойчивость

Psychologies
9 уникальных комнатных растений, которые украсят дом и удивят гостей9 уникальных комнатных растений, которые украсят дом и удивят гостей 9 уникальных комнатных растений, которые украсят дом и удивят гостей9 уникальных комнатных растений, которые украсят дом и удивят гостей

У комнатных растений много суперсил

VOICE
Знаменитые споры и конфликты писателей Знаменитые споры и конфликты писателей

Литературный мир — арена для самых ярых словесных баталий

Maxim
Зачем нужна астрохимия? Зачем нужна астрохимия?

Чем занимается астрохимия, когда и как она выделилась в самостоятельную науку

Знание – сила
Весна длиною в полгода Весна длиною в полгода

Воспоминания, как август 1968-го окончательно положил конец «оттепели»

Дилетант
Ультануть перед подростком: какие слова нужно выучить, чтобы понимать поколение альфа Ультануть перед подростком: какие слова нужно выучить, чтобы понимать поколение альфа

Как ультануть перед ребенком и почему вайб теперь может оказаться с минусом

Forbes
Как поменять жизнь, познав себя: 12 архетипов, которые тебе помогут Как поменять жизнь, познав себя: 12 архетипов, которые тебе помогут

Как архетипы помогают познать свою природу и научиться взаимодействовать с миром

VOICE
«Не знаю, что делать — пойду поработаю»: 3 вида зависимых отношений в офисе «Не знаю, что делать — пойду поработаю»: 3 вида зависимых отношений в офисе

Где же именно возникает зависимость от работы?

Psychologies
«Я не верю, что существуют тупиковые ситуации» «Я не верю, что существуют тупиковые ситуации»

«Шуйские ситцы» запускает уникальный проект по производству ткани из дерева

Монокль
Стреляющая камера на защите вашего дома: безумные изобретения и открытия со всего мира Стреляющая камера на защите вашего дома: безумные изобретения и открытия со всего мира

Самые необычные изобретения и шокирующие открытия ученых со всего света

ТехИнсайдер
Защитит зубы и сердце! Вот чем сыр полезен для здоровья: интересные факты Защитит зубы и сердце! Вот чем сыр полезен для здоровья: интересные факты

Сыр: богат питательными веществами и полезен для сердца

ТехИнсайдер
Стать психологом – как и зачем? Стать психологом – как и зачем?

О подводных камнях псиобразования и о том, кому можно доверять в этом вопросе

Psychologies
Микробиота кишечника определяет социальное поведение Микробиота кишечника определяет социальное поведение

Какие гены участвуют в механизме взаимодействия мозга и кишечника?

Наука
Сделано в Питере. Сделано по-питерски… Сделано в Питере. Сделано по-питерски…

Как «питерский вайб» влияет на дизайн в бизнесе

Монокль
Как можно использовать мяту в быту: 8 потрясающих идей Как можно использовать мяту в быту: 8 потрясающих идей

Вариантов, как можно применить мяту в быту, на самом деле целое множество!

ТехИнсайдер
Морские губки отпугивают хищников ядовитым молибденом Морские губки отпугивают хищников ядовитым молибденом

У губок в Эйлатском заливе есть оригинальный способ отпугивания хищников

ТехИнсайдер
Королевские игры Королевские игры

Фрагменты документальной книги Тины Браун «Дом Виндзоров»

RR Люкс.Личности.Бизнес.
Удержать лицо Удержать лицо

Какие лифтинг-методики сегодня реально работают

Добрые советы
3 потребности, по которым можно распознать нарцисса в новом знакомом 3 потребности, по которым можно распознать нарцисса в новом знакомом

Как вычислить нарцисса на первом свидании?

Psychologies
«Как живем, так и шутим»: вспоминая Александра Васильевича Маслякова «Как живем, так и шутим»: вспоминая Александра Васильевича Маслякова

Светлана Мудрик вспоминает мэтра, под чьим руководством начинала свой путь

Правила жизни
Как этично дать совет дочери: 6 вопросов, которые должна задать мать Как этично дать совет дочери: 6 вопросов, которые должна задать мать

Почему лучше воздержаться от советов, если ребенок о них не просит

Psychologies
Вечный ЗОЖ Вечный ЗОЖ

Почему любительский спорт переживает ренессанс

Men Today
3 упражнения Лоуэна: как работает телесная психотерапия 3 упражнения Лоуэна: как работает телесная психотерапия

Можно ли улучшить ментальное состояние с помощью работы над телом?

Psychologies
Французские и русские Сент-Илеры Французские и русские Сент-Илеры

Чем знамениты русские представители фамилии Сент-Илеров

Наука и техника
Открыть в приложении