Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Палеонтологи восстановили перья археоптерикса, и объяснили как он летал Палеонтологи восстановили перья археоптерикса, и объяснили как он летал

Как ученые по оставшимся костям могут реконструировать облик археоптерикса?

ТехИнсайдер
Трасса М8 «Холмогоры»: где проходит и как ездить Трасса М8 «Холмогоры»: где проходит и как ездить

Что нужно знать водителям, которые решили добраться до Белого моря по трассе М8

РБК
На зарядку становись: как развиваются инфраструктурные технологии для электромобилей На зарядку становись: как развиваются инфраструктурные технологии для электромобилей

Как инфраструктура для электромобилей способна изменить рынок

Forbes
Ностальгический алкоголь: почему коктейли в банках снова стали популярны Ностальгический алкоголь: почему коктейли в банках снова стали популярны

Популярность сладкого алкоголя: шлейф барной культуры или борьба со стрессом?

Forbes
50 лет исследований показали: эти 4 ошибки разрушают брак 50 лет исследований показали: эти 4 ошибки разрушают брак

Четыре стратегии общения, которые могут привести к расставаниям и разводам

Inc.
Портреты русской цивилизации Портреты русской цивилизации

Как сложились главные города России

Weekend
Сам себе профайлер Сам себе профайлер

Об основных психотипах и о том, как научиться их распознавать

Grazia
Японский – простой язык Японский – простой язык

Сложности при изучении японского глубоко укоренены в самой японской ментальности

Знание – сила
Пиво и гормоны. Что содержится в пенном напитке и как он влияет на мужчин и женщин Пиво и гормоны. Что содержится в пенном напитке и как он влияет на мужчин и женщин

Собралась купить банку пенного напитка? Не спеши! Выясняем почему

Лиза
Зуммерам грозит эпидемия близорукости! И вот почему это произойдет: мнение эксперта Зуммерам грозит эпидемия близорукости! И вот почему это произойдет: мнение эксперта

Западный специалист указывает на потенциальную «эпидемию слепоты» среди зуммеров

ТехИнсайдер
Михаил Шемякин: «Евтушенко сказал: «Вся Москва только и говорит о твоей великолепной карете, на которой ты разъезжаешь по Парижу!» Михаил Шемякин: «Евтушенко сказал: «Вся Москва только и говорит о твоей великолепной карете, на которой ты разъезжаешь по Парижу!»

Мне было запрещено взять с собой даже маленький чемодан

Коллекция. Караван историй
Путешествие в кино Путешествие в кино

Сколько стоит поездка по местам съемок популярных фильмов и сериалов

Деньги
Семья тираннозавра: кошмарные перестановки Семья тираннозавра: кошмарные перестановки

История исследований и пересмотров окаменелостей тираннозавра и его второй вид

Наука и техника
За что держаться, когда думаешь, что мир рушится: концепция антихрупкости За что держаться, когда думаешь, что мир рушится: концепция антихрупкости

Что такое концепция антихрупкости, которая помогает выстоять?

VOICE
Первый поход Первый поход

Кем были первые переселенцы из Африки на другие континенты?

Вокруг света
Хочу на ручки Хочу на ручки

Психолог Екатерина Приморская — о своём опыте перезагрузки в центре аюрведы

Новый очаг
Постколониальный док и борьба с зависимостью: лучшие женские работы на Берлинале Постколониальный док и борьба с зависимостью: лучшие женские работы на Берлинале

Работы женщин, которые заявили о себе на Берлинале

Forbes
Financial Times рассказала о «современном рабстве» в «Опус Деи». Католическая организация принуждает девочек трудиться бесплатно Financial Times рассказала о «современном рабстве» в «Опус Деи». Католическая организация принуждает девочек трудиться бесплатно

Современная католическая организация «Опус Деи» буквально использует рабство

Правила жизни
Стоит только начать Стоит только начать

Советы для тех, кому лень заниматься спортом или всегда некогда

Лиза
Оксана Акиньшина Оксана Акиньшина

В Оксане Акиньшиной сочетаются вещи, казалось бы, несовместные

Собака.ru
Мозг умеет ждать награду и предсказывать время ее получения Мозг умеет ждать награду и предсказывать время ее получения

Как мозг «предсказывает» уровень вознаграждения и оценивает время его получения

ТехИнсайдер
Есть или не есть: лапша быстрого приготовления Есть или не есть: лапша быстрого приготовления

Лапша и картофельное пюре быстрого приготовления — это самая вредная еда?

ТехИнсайдер
Модный разговор с Владимиром Славским. Глафира Тарханова: «Улыбка — лучший аксессуар женщины» Модный разговор с Владимиром Славским. Глафира Тарханова: «Улыбка — лучший аксессуар женщины»

Стоит ли слепо следовать трендам? Как выбирать одежду для выхода?

Караван историй
Проект «Неделька» Проект «Неделька»

Постройнеть всего за семь дней, не отказываясь от пасты, бутербродов и десертов?

Лиза
«Офонареть» и «до фонаря» — это как? Шокирующая история жаргонных словечек «Офонареть» и «до фонаря» — это как? Шокирующая история жаргонных словечек

Откуда пошли фразы «до фонаря» или «офонареть»?

ТехИнсайдер
Радиотелескоп MeerKAT случайно открыл 49 новых галактик за пару часов Радиотелескоп MeerKAT случайно открыл 49 новых галактик за пару часов

MeerKAT смог за 2,3 часа открыть 49 галактик по излучению нейтрального водорода

N+1
5 книг, запутанный сюжет которых происходит в замкнутом пространстве 5 книг, запутанный сюжет которых происходит в замкнутом пространстве

Произведения, которые заставят вас понервничать

Maxim
Я занят, дорогая! Почему муж сидит на сайте знакомств: 6 причин, названных психологом Я занят, дорогая! Почему муж сидит на сайте знакомств: 6 причин, названных психологом

А что если ты внезапно обнаружила, что любимый муж сидит на сайте знакомств?

Лиза
Сто лет тому вперед Сто лет тому вперед

«Белое пластиковое небо»: постапокалипсис в Будапеште

Weekend
Хортифутуризм Хортифутуризм

Превращаем сад в научно-фантастический рай

Караван историй
Открыть в приложении