Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Палеонтологи впервые идентифицировали череп древнего человека-денисовца Палеонтологи впервые идентифицировали череп древнего человека-денисовца

Как ученые выделили генетический материал из черепа «человека-дракона»

ТехИнсайдер
«Выбор не в пользу себя»: почему женщины не занимают лидирующих позиций в бизнесе «Выбор не в пользу себя»: почему женщины не занимают лидирующих позиций в бизнесе

Почему на самом деле в советах директоров или среди СЕО так мало женщин

Forbes
Какие ценности есть у ИИ? Ученые изучили Claude и рассказали интересные факты! Какие ценности есть у ИИ? Ученые изучили Claude и рассказали интересные факты!

Как ИИ выражает свои «принципы» в диалогах с людьми

ТехИнсайдер
Владимир Фокин: «Вячеслав Тихонов отказывался сниматься, просил: «Освободите меня, я так этого наелся!» Владимир Фокин: «Вячеслав Тихонов отказывался сниматься, просил: «Освободите меня, я так этого наелся!»

Владимир Фокин — о съемках фильма «ТАСС уполномочен заявить...»

Коллекция. Караван историй
«Дневник невидимки»: история необычной старшеклассницы с обычными проблемами «Дневник невидимки»: история необычной старшеклассницы с обычными проблемами

Отрывок из «Дневника невидимки» — романа о том, как оставаться собой

Forbes
Что такое склонность к подтверждению своей точки зрения: примеры и причины появления Что такое склонность к подтверждению своей точки зрения: примеры и причины появления

Что такое предвзятость подтверждения и как она влияет на нас

Psychologies
Александра Урсуляк: «Вечером я — Ермолова, а с утра я «у станка» Александра Урсуляк: «Вечером я — Ермолова, а с утра я «у станка»

«Даже «розовая героиня» не должна переживать, что переходит на возрастные роли»

Караван историй
Нужен ли вам подержанный Range Rover? Нужен ли вам подержанный Range Rover?

Б/у Range Rover: стоит ли брать и чего ждать от подержанного автомобиля?

4x4 Club
Молочные и мясные антигены сдерживают появление рака кишечника Молочные и мясные антигены сдерживают появление рака кишечника

Как пищевые антигены запускают иммунную систему кишечника

ТехИнсайдер
Стать психологом – как и зачем? Стать психологом – как и зачем?

О подводных камнях псиобразования и о том, кому можно доверять в этом вопросе

Psychologies
Зерновозы для страны Зерновозы для страны

Задача по увеличению объемов поставок сельхозпродукции за рубеж поставлена

Агроинвестор
Гений без всяких оговорок Гений без всяких оговорок

Воспоминания современников о физиологе Иване Павлове и его личные высказывания

Наука
Два алтаря для одной жертвы Два алтаря для одной жертвы

Как героиня греческого мифа Ифигения из символа подвига стала символом отчаяния

Weekend
Сам и носи Сам и носи

Александр Цыпкин и не думает защищать независимость мужского гардероба

VOICE
Что следует делать и как ни в коем случае нельзя поступать, если ты узнала об измене Что следует делать и как ни в коем случае нельзя поступать, если ты узнала об измене

Как не наломать дров, пока пытаешься справиться с болью от измены партнера

VOICE
Слова и музыка Слова и музыка

Елизавета Базыкина удивляет спокойствием не только к успеху, но и к неудачам

VOICE
С первого взгляда С первого взгляда

Как расширить маленькую прихожую визуально и не только: подсказки и лайфхаки

Добрые советы
«Гарри Поттер» и «Аббатство Даунтон»: лучшие роли Мэгги Смит «Гарри Поттер» и «Аббатство Даунтон»: лучшие роли Мэгги Смит

Лучшие перевоплощения Мэгги Смит, которая могла быть и серьезной, и смешной

Forbes
Космическая музыка. Polaris Dawn успешно завершил полет Космическая музыка. Polaris Dawn успешно завершил полет

Как прошел первый в мире выход в открытый космос гражданского экипажа

ТехИнсайдер
Что сказать зависимому Что сказать зависимому

Как уговорить близкого с аддикцией обратиться к психотерапевту

Psychologies
«Я пишу здесь только правду». Отрывок из дневников Ольги Берггольц «Я пишу здесь только правду». Отрывок из дневников Ольги Берггольц

Отрывок из дневниковых записях о последних днях жизни мужа Ольги Берггольц

СНОБ
Маленькая мисс Одиннадцать: как Милли Бобби Браун добивается успеха в кино и бизнесе Маленькая мисс Одиннадцать: как Милли Бобби Браун добивается успеха в кино и бизнесе

Как Милли Бобби Браун удалось не стать заложницей одной роли?

Forbes
Почувствуй разницу Почувствуй разницу

Самодостаточный мужчина VS инфантильный мальчик: учимся распознавать

Лиза
Что лучше — пиво или водка Что лучше — пиво или водка

Давайте рассудим противостояние титанов с точки зрения пользы, вреда и вкуса

Maxim
Как появился ярлык Made in China. Отрывок из книги Как появился ярлык Made in China. Отрывок из книги

Как появился ярлык Made in China, что он значит для производителей и покупателей

СНОБ
Какой пассажирский самолет самый большой в мире Какой пассажирский самолет самый большой в мире

Почему громадина и красавец Airbus A380 — лайнер тяжелой судьбы

Maxim
Место для ребенка: что делает город удобными для детей и как это влияет на экономику Место для ребенка: что делает город удобными для детей и как это влияет на экономику

Как понять, подходит ли для ребенка то, что для него построили взрослые?

Forbes
Меньше атома: как работает квантовая механика Меньше атома: как работает квантовая механика

Отрывок из книги «Сто лет недосказанности» о квантовой механике

Inc.
Плакун-трава Плакун-трава

Яркий акцент пейзажа, как вызов цветовому постоянству — это зацвёл дербенник!

Наука и жизнь
Бегущий по шейкеру: как набрать массу, когда нет времени Бегущий по шейкеру: как набрать массу, когда нет времени

Что нужно делать, когда на весах нужен плюс, а на часах везде минус?

Правила жизни
Открыть в приложении