Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Оказалось, что большинство кошек предпочитают засыпать на левом боку — и ученые узнали, почему Оказалось, что большинство кошек предпочитают засыпать на левом боку — и ученые узнали, почему

Почему кошки перед сном чаще всего заваливаются на левый бок?

ТехИнсайдер
В маршрут все включено В маршрут все включено

«Я — капитан»: очень предсказуемый фильм Маттео Гарроне об африканских мигрантах

Weekend
Раскрыт секретный рецепт римского бетона, который пережил тысячелетия Раскрыт секретный рецепт римского бетона, который пережил тысячелетия

Чем состав и технология производства римского бетона отличались от современного

Inc.
Как выглядели самые первые в истории президентские выборы в России Как выглядели самые первые в истории президентские выборы в России

Фотографии невероятного для России события — первых демократических выборов

Maxim
Кузница достойных жен: как жили воспитанницы Смольного института благородных девиц Кузница достойных жен: как жили воспитанницы Смольного института благородных девиц

Чему учились «смолянки» и как жили в стенах института

Forbes
Терминальная стадия: как в Черном море стало тесно продавцам зерна Терминальная стадия: как в Черном море стало тесно продавцам зерна

Через зерновые терминалы Черного моря уходит до 90% зерновых на экспорт

Forbes
Хозяйка острова Ро Хозяйка острова Ро

При жизни эта женщина была символом свободы, сопротивления и греческой нации

Дилетант
Главное качество идеального партнера: 7 признаков, указывающих на его наличие Главное качество идеального партнера: 7 признаков, указывающих на его наличие

Без чего счастливый союз невозможен?

Psychologies
Букет возможностей: как устроен и как перестраивается цветочный бизнес Букет возможностей: как устроен и как перестраивается цветочный бизнес

Откуда привозят цветы, из чего складывается стоимость букета и другие вопросы

РБК
Человек гейдельбергский получил стрессовый перелом около 300 тысяч лет назад Человек гейдельбергский получил стрессовый перелом около 300 тысяч лет назад

Палеоантропологи исследовали вторую плюсневую кость памятника Седия-дель-Дьяволо

N+1
Как правильно перевезти холодильник, чтобы его не испортить? Как правильно перевезти холодильник, чтобы его не испортить?

Как правильно перевозить холодильник при переезде?

CHIP
Робот в мобильных телефонах Робот в мобильных телефонах

Искусственный интеллект рвется в мобильную связь

Монокль
Заболевания вен Заболевания вен

Про варикоз знают все, но про хроническую венозную недостаточность – немногие

Здоровье
Подводный робот на колесах обработает подводные сооружения антикоррозионным составом Подводный робот на колесах обработает подводные сооружения антикоррозионным составом

Инженеры разработали подводный робот Crawfish

N+1
Кристина Кучеренко: «Я долго билась о дверь и выбила ее» Кристина Кучеренко: «Я долго билась о дверь и выбила ее»

Встал выбор: заниматься, несмотря на перелом, или уходить из балета

Коллекция. Караван историй
Богатые живут лучше? Узнайте, если деньги могут принести счастье: мнение эксперта! Богатые живут лучше? Узнайте, если деньги могут принести счастье: мнение эксперта!

Можно ли купить счастье?

ТехИнсайдер
«Мы мало времени проводим вместе»: как решить эту проблему — 11 главных шагов «Мы мало времени проводим вместе»: как решить эту проблему — 11 главных шагов

Как сохранить союз, невзирая на загруженную жизнь?

Psychologies
10 лучших лайфхаков для мойки автомобиля подручными средствами 10 лучших лайфхаков для мойки автомобиля подручными средствами

Чтобы привести машину в порядок, вовсе не обязательно ехать на мойку

Maxim
В духе модернизма В духе модернизма

Лаконичный одноэтажный дом в живописной местности в окрестностях Минска

Идеи Вашего Дома
Вопросы, которые изменят жизнь к лучшему: как научиться их формулировать — советы коучей Вопросы, которые изменят жизнь к лучшему: как научиться их формулировать — советы коучей

Глава из книги «Делай как коуч»

Psychologies
Написано для Гали Написано для Гали

Последние дубы этой аллеи как охранники стоят на входе в сад...

Seasons of life
Кто еще в квартире живёт? Кто еще в квартире живёт?

Насекомые и пауки, которые живут в наших квартирах

Наука и жизнь
Что сказать при расставании: 6 фраз, которые смягчат душевную боль партнера Что сказать при расставании: 6 фраз, которые смягчат душевную боль партнера

Почему так важно правильно расставаться и как сделать это экологично?

Psychologies
Как безопасно и качественно помыть глухие окна: советы профессионалов Как безопасно и качественно помыть глухие окна: советы профессионалов

Как очистить глухие окна, не вылезая почти всем телом в окно

ТехИнсайдер
Константин Чайкин: Дело — время Константин Чайкин: Дело — время

История от создателя самых узнаваемых российских часов нового времени

Maxim
9 легких способов расположить к себе людей без всяких манипуляций 9 легких способов расположить к себе людей без всяких манипуляций

Как с помощью подсознания вызвать симпатию у любого человека?

Maxim
Мифы о кесарятах Мифы о кесарятах

Кесарево сечение: чего стоит опасаться, а что – не более чем выдумки?

Лиза
Мексиканская Калифорния с севера на юг Мексиканская Калифорния с севера на юг

Калифорнийский полуостров — место особенное

Y Magazine
AR и VR в играх: почему самая ожидаемая революция в индустрии гейминга провалилась AR и VR в играх: почему самая ожидаемая революция в индустрии гейминга провалилась

Почему революция виртуальной и дополненной реальности не свершилась?

Forbes
И снова здравствуйте! И снова здравствуйте!

Почему мы выбираем партнеров с одним и тем же психотипом

Лиза
Открыть в приложении