Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Исследование: как пустынная пыль влияет на образование облаков и климат Исследование: как пустынная пыль влияет на образование облаков и климат

Как пустыни влияют на формирование облаков?

ТехИнсайдер
Букет возможностей: как устроен и как перестраивается цветочный бизнес Букет возможностей: как устроен и как перестраивается цветочный бизнес

Откуда привозят цветы, из чего складывается стоимость букета и другие вопросы

РБК
Когда спрятать — недостаточно: как работают атаки на скрытые каналы передачи информации Когда спрятать — недостаточно: как работают атаки на скрытые каналы передачи информации

Как работает цифровое сокрытие информации?

ТехИнсайдер
«Мы начнем все заново». Главы из романа Хелены Побяржиной «Другие ноты» «Мы начнем все заново». Главы из романа Хелены Побяржиной «Другие ноты»

Второй роман Хелены Побяржиной о молчании, смерти, предательстве и музыке

СНОБ
Как нас обманывает Disney: чем на самом деле заканчиваются популярные детские сказки Как нас обманывает Disney: чем на самом деле заканчиваются популярные детские сказки

Почти у каждой сказки, которую вы читали в детстве, есть версия 18+...

ТехИнсайдер
Розы за полмиллиона: почему женщинам принято дарить цветы и при чем здесь 8 Марта Розы за полмиллиона: почему женщинам принято дарить цветы и при чем здесь 8 Марта

Кто и когда придумал дарить цветы женщинам

Forbes
Синтезатор случайностей и ошибок Синтезатор случайностей и ошибок

Дмитрий Морозов (::vtol::): звук как открытое произведение

Weekend
Вреден ли микропластик? Вреден ли микропластик?

Микропластик находят везде: в Марианской впадине и даже в человеческой крови

Maxim
Расклад такой Расклад такой

Пора стереть с собственного лица следы усталости от зимы, морщины и купероз!

Собака.ru
Древние жители Иберии разделали мамонта около 1,2 миллиона лет назад Древние жители Иберии разделали мамонта около 1,2 миллиона лет назад

Следы от орудий нашли на костях из местонахождения Фуэнте-Нуэва-3

N+1
«Обывательщину на прицел!», или Как в эпоху НЭПа в СССР боролись с мещанством, но не преуспели «Обывательщину на прицел!», или Как в эпоху НЭПа в СССР боролись с мещанством, но не преуспели

Прежде чем рассмотреть мещанина, стоит задаться вопросом: а что же он такое?

Наука
Женщины-амазонки, возможно, действительно существовали! Узнайте аргументы эксперта Женщины-амазонки, возможно, действительно существовали! Узнайте аргументы эксперта

При раскопках могил бронзового века обнаружили останки женщин-лучниц

ТехИнсайдер
Быть на вершине Быть на вершине

Удовольствие, свобода и безумие во французских Альпах

Автопилот
Я занят, дорогая! Почему муж сидит на сайте знакомств: 6 причин, названных психологом Я занят, дорогая! Почему муж сидит на сайте знакомств: 6 причин, названных психологом

А что если ты внезапно обнаружила, что любимый муж сидит на сайте знакомств?

Лиза
4 правила секс-безопасности в командировке 4 правила секс-безопасности в командировке

Как сделать так, чтобы секс в командировке принес только яркие впечатления

Psychologies
Красный рынок: как в СССР распродавали частные коллекции и собрание Эрмитажа Красный рынок: как в СССР распродавали частные коллекции и собрание Эрмитажа

Исторический триллер на стыке политики, черного рынка и искусства

Правила жизни
Хочу булочку! Хочу булочку!

Как есть мучное и при этом не набирать вес: советы нутрициолога

Лиза
Даешь витамины! Даешь витамины!

Каких витаминов чаще всего нам не хватает и как их восполнить

Лиза
Психиатр Ирвин Ялом женился второй раз в 92 года: почему он решился на этот шаг? Психиатр Ирвин Ялом женился второй раз в 92 года: почему он решился на этот шаг?

Разбираемся в тонкостях позднего брака — особенно после утраты супруга

Psychologies
Автоматические ремни безопасности: гениальное изобретение или бестолковая ерунда? Автоматические ремни безопасности: гениальное изобретение или бестолковая ерунда?

Автопроизводители порой устраивали с ремнями безумные эксперименты...

Maxim
Подружились, полюбились, спелись Подружились, полюбились, спелись

Творческое объединение «Под облаками» — это десять увлеченных людей

Seasons of life
Есть или не есть: лапша быстрого приготовления Есть или не есть: лапша быстрого приготовления

Лапша и картофельное пюре быстрого приготовления — это самая вредная еда?

ТехИнсайдер
«Главное, что тебе дает коллекционирование, это доступ к людям» «Главное, что тебе дает коллекционирование, это доступ к людям»

Как попытка разобраться в системе взаимоотношений приводит к коллекционированию

Правила жизни
Искусственный интеллект смог создать «идеальное» пиво Искусственный интеллект смог создать «идеальное» пиво

ИИ доработал состав пенного напитка, который смог поразить дегустаторов-людей

ТехИнсайдер
УКВЗ зажег первую звезду УКВЗ зажег первую звезду

Новый тип вагонов для низкопольных трамваев «Кастор» от УКВЗ

Монокль
Самцы большинства видов млекопитающих оказались не крупнее самок Самцы большинства видов млекопитающих оказались не крупнее самок

Вопреки представлениям, самцы большинства млекопитающих не крупнее самок

N+1
Время платить налоги Время платить налоги

Как заполнить декларацию о доходах, когда ее сдавать и кому это делать не нужно

Лиза
9 признаков настоящего «душнилы» 9 признаков настоящего «душнилы»

Кто такой истинный «душнила»?

Maxim
«Яблоки не падают никогда»: каким получился новый сериал по роману Лианы Мориарти «Яблоки не падают никогда»: каким получился новый сериал по роману Лианы Мориарти

Почему стоит уделить внимание сериалу «Яблоки не падают никогда»

Forbes
Чтение выходного дня: фрагмент нового романа Яны Вагнер «Тоннель» Чтение выходного дня: фрагмент нового романа Яны Вагнер «Тоннель»

Отрывок из нового психологического триллера Яны Вагнер «Тоннель»

Правила жизни
Открыть в приложении