Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Тревожный, надежный, избегающий: почему типы привязанности определяют судьбу наших отношений и можно ли их изменить? Тревожный, надежный, избегающий: почему типы привязанности определяют судьбу наших отношений и можно ли их изменить?

Какие бывают типы привязанности и как они влияют на наши отношения с людьми?

ТехИнсайдер
УКВЗ зажег первую звезду УКВЗ зажег первую звезду

Новый тип вагонов для низкопольных трамваев «Кастор» от УКВЗ

Монокль
Эволюция платежных сервисов в регионах: от налички до BNPL Эволюция платежных сервисов в регионах: от налички до BNPL

Потенциал платежных систем и развитие финтеха в российских регионах

Inc.
Детская травма отверженности в семьях успешных и знаменитых Детская травма отверженности в семьях успешных и знаменитых

Как же росли известные всем личности из мира литературы?

Psychologies
Простой способ повысить психологическую устойчивость и настроиться на позитив Простой способ повысить психологическую устойчивость и настроиться на позитив

Одно упражнение для поддержания психологической устойчивости

Inc.
Почти как Бекхэмы: 10 успешных союзов звезд футбола, тенниса, хоккея и гимнастики Почти как Бекхэмы: 10 успешных союзов звезд футбола, тенниса, хоккея и гимнастики

Спортивные браки, которые оказались и прочными, и финансово успешными

Forbes
«Так и живет большинство»: отрывок из романа о бегстве из невыносимого брака «Так и живет большинство»: отрывок из романа о бегстве из невыносимого брака

Отрывок из романа Антонии Байетт «Вавилонская башня»

Forbes
Марика Коротаева Марика Коротаева

Марика Коротаева превращает Кронштадт в туристический маст-визит страны

Собака.ru
«С каждым вдохом: Удивительная история наших легких» «С каждым вдохом: Удивительная история наших легких»

О поиске препарата для борьбы с идиопатическим легочным фиброзом

N+1
Кокаин, связь с мафией и удар стулом: за что известные футболисты попадали в тюрьму Кокаин, связь с мафией и удар стулом: за что известные футболисты попадали в тюрьму

Самые известные истории футболистов, попадавших в тюрьму

Forbes
Удивительные шедевры архитектуры: древнейшие сооружения, мимо которых невозможно пройти Удивительные шедевры архитектуры: древнейшие сооружения, мимо которых невозможно пройти

Здания, которые восхищают не только любителей архитектуры, но и простых туристов

ТехИнсайдер
Как восстановиться после травмы: книга о самопомощи для людей с ПТСР Как восстановиться после травмы: книга о самопомощи для людей с ПТСР

Почему после травмы часто возникают проблемы с контролем и безопасностью

Forbes
Как натянуть цепь на бензопиле — наглядная инструкция Как натянуть цепь на бензопиле — наглядная инструкция

Важно следить за натяжением цепи в бензопиле — как ее подтянуть

CHIP
Создатель усиленной красоты Создатель усиленной красоты

Модельер Клод Монтана сформировал парижскую моду 1980-х — начала 1990-х

Weekend
Можно ли вылечить больное горло алкоголем? 7 неудобных вопросов врачу Можно ли вылечить больное горло алкоголем? 7 неудобных вопросов врачу

Вопросы, которые вы стесняетесь задать ЛОРу

Psychologies
Не можете уснуть? Держите глаза открытыми Не можете уснуть? Держите глаза открытыми

Снова ворочаетесь всю ночь? Никак не можете заснуть, ложась в кровать?

ТехИнсайдер
«Они приходят к нам, когда у нас в глазах не видно боли. Но боль пришла» «Они приходят к нам, когда у нас в глазах не видно боли. Но боль пришла»

Собаки и кошки знаменитых поэтов и писателей

Караван историй
Эра титанов Эра титанов

Эти проекты потрясали своим размахом и могли изменить мир, но канули в прошлое

Men Today
«Пыльный котел»: экологическая катастрофа 1930-х годов, которая перевернула жизнь США «Пыльный котел»: экологическая катастрофа 1930-х годов, которая перевернула жизнь США

Одна из масштабных экологических катастроф пронеслась по Америке в 1930-х годах

ТехИнсайдер
Московский фаюм Московский фаюм

Судьба египтолога Владимира Голенищева и знаменитых фаюмских портретов

Правила жизни
Семья тираннозавра: кошмарные перестановки Семья тираннозавра: кошмарные перестановки

История исследований и пересмотров окаменелостей тираннозавра и его второй вид

Наука и техника
Бионические протезы. Русский след Бионические протезы. Русский след

Важные этапы в области развития биопротезирования

Наука и техника
Почему мы ревнуем: 6 неочевидных причин Почему мы ревнуем: 6 неочевидных причин

Зачем люди ревнуют? И можно ли справиться с этим непростым переживанием?

Psychologies
7 возможных причин, почему вы часто плачете 7 возможных причин, почему вы часто плачете

Нормально ли часто плакать и в чем может быть причина? Вот что говорят эксперты

Psychologies
Сто смет одиночества Сто смет одиночества

Есть ли шанс привить миллениалам и зумерам ценности многодетной семьи

Монокль
Не только игрушки: чем интересна для бизнеса сфера SexTech и что мешает ее развитию Не только игрушки: чем интересна для бизнеса сфера SexTech и что мешает ее развитию

С какими барьерами сталкивается SexTech индустрия?

Forbes
Женские таблетки Женские таблетки

Противозачаточные средства: свойства, не связанные с контрацепцией

Лиза
Первые роли 10 знаменитых современных актеров Первые роли 10 знаменитых современных актеров

Педро Паскаль, Милош Бикович, Тимати Шаламе и другие в своих первых ролях

Maxim
Абсурдизм поможет справиться с проблемами в жизни? Интересные факты об этой философии Абсурдизм поможет справиться с проблемами в жизни? Интересные факты об этой философии

Вот как объясняет человеческие метания философ Альбер Камю

ТехИнсайдер
Американские горки: как эмигрантки строят карьеру в США Американские горки: как эмигрантки строят карьеру в США

С чем женщинам приходится иметь дело на пути к американской мечте

Forbes
Открыть в приложении