Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как сохранять по две тысячи рублей каждый месяц: 5 советов по экономии света в квартире Как сохранять по две тысячи рублей каждый месяц: 5 советов по экономии света в квартире

Не только лампочки: неочевидные способы снизить расход электроэнергии

ТехИнсайдер
По Ленинским местам По Ленинским местам

8 вещей, которые нужно сделать в Ульяновске и окрестностях

Лиза
Изогнутый экран смартфона — это удобно? Изогнутый экран смартфона — это удобно?

Стоит ли покупать смартфоны с изогнутыми экранами?

CHIP
Сексизм в большом городе: как женщины борются с дискриминацией и домогательствами на рабочем месте Сексизм в большом городе: как женщины борются с дискриминацией и домогательствами на рабочем месте

Несмотря на внимание сексизм все еще не удается полностью искоренить

Inc.
50 лет исследований показали: эти 4 ошибки разрушают брак 50 лет исследований показали: эти 4 ошибки разрушают брак

Четыре стратегии общения, которые могут привести к расставаниям и разводам

Inc.
Коллективное укрупнение Коллективное укрупнение

Как растут активы под управлением УК

Деньги
Современные мечты о космосе: что делать, если ваш ребенок хочет стать блогером Современные мечты о космосе: что делать, если ваш ребенок хочет стать блогером

Отрывок из книги «Детство в режиме онлайн» Екатерины Мурашовой

Psychologies
Худеем вместе Худеем вместе

Сидеть на диете в одиночестве мужчинам скучно. Другое дело — худеть с женой

Лиза
Сверхнизкие орбиты: уникальные возможности и интрига освоения Сверхнизкие орбиты: уникальные возможности и интрига освоения

Сверхнизкие орбиты открывают перспективы, которых нет у других космических высот

Наука
Отдохни! Отдохни!

Досрочная пенсия для женщин: кому положена и как ее получить

Лиза
Александр Михайлов о съемках в фильме «Любовь и голуби» и о работе с Гурченко, Дорошиной, Гундаревой Александр Михайлов о съемках в фильме «Любовь и голуби» и о работе с Гурченко, Дорошиной, Гундаревой

Дал себе слово, что сделаю все возможное и невозможное, но стану актером

Караван историй
Опытные охотники с необычным хобби: 50 фантастических фактов о дельфинах ― безумно смышленых и таких ласковых существах Опытные охотники с необычным хобби: 50 фантастических фактов о дельфинах ― безумно смышленых и таких ласковых существах

Эти красавчики ― настоящие гении среди морских обитателей

ТехИнсайдер
Премиальный полуприцеп заезжает в свободную нишу Премиальный полуприцеп заезжает в свободную нишу

«Вагнермайер Руссланд» намерен взять лучшее от своего зарубежного партнера

Монокль
Кочубеи Кочубеи

На крови Василия Леонтьевича Кочубея возвысился весь его род

Дилетант
Почти как Бекхэмы: 10 успешных союзов звезд футбола, тенниса, хоккея и гимнастики Почти как Бекхэмы: 10 успешных союзов звезд футбола, тенниса, хоккея и гимнастики

Спортивные браки, которые оказались и прочными, и финансово успешными

Forbes
Подводный робот на колесах обработает подводные сооружения антикоррозионным составом Подводный робот на колесах обработает подводные сооружения антикоррозионным составом

Инженеры разработали подводный робот Crawfish

N+1
Антидворянец: Бахрушин Антидворянец: Бахрушин

Ходят слухи, что Алексей Бахрушин внезапно сорвался в Петербург. Почему же?

Правила жизни
Всё как есть Всё как есть

Отвечаем на все актуальные вопросы по правильному питанию

Добрые советы
Терминальная стадия: как в Черном море стало тесно продавцам зерна Терминальная стадия: как в Черном море стало тесно продавцам зерна

Через зерновые терминалы Черного моря уходит до 90% зерновых на экспорт

Forbes
Почему скрипит обувь при ходьбе и как это исправить: решаем навязчивую проблему за минуту Почему скрипит обувь при ходьбе и как это исправить: решаем навязчивую проблему за минуту

Скрип обуви во время ходьбы может сильно раздражать и вызывать улыбки со стороны

ТехИнсайдер
Александр Коршунов: «Вдохновение должно приходить в назначенное время» Александр Коршунов: «Вдохновение должно приходить в назначенное время»

Режиссер Александр Коршунов — о новом спектакле и театре «Сфера»

Монокль
Кирилл Зайцев: «Мама сказала: «У актеров такая трудная судьба, давай все-таки моряком» Кирилл Зайцев: «Мама сказала: «У актеров такая трудная судьба, давай все-таки моряком»

Без дисциплины актер — это катящийся с горы камень

Караван историй
Ученые раскрыли секрет, почему нам даже во взрослом возрасте бывает трудно расстаться с детскими игрушками Ученые раскрыли секрет, почему нам даже во взрослом возрасте бывает трудно расстаться с детскими игрушками

Почему мы не можем отвязаться от старых игрушек?

ТехИнсайдер
12 фраз, которые ни в коем случае нельзя говорить партнеру во время секса 12 фраз, которые ни в коем случае нельзя говорить партнеру во время секса

Список фраз, которые стоит избегать в постели

Psychologies
5 ярких мистификаций в истории русской литературы 5 ярких мистификаций в истории русской литературы

В мире русской литературы мистификация занимает особое место

Maxim
4 самых полезных продукта русской кухни 4 самых полезных продукта русской кухни

Солянка, разносолы, творог и каши: русские блюда, полезные для здоровья

Maxim
Бояться или нет? 5 книг про искусственный интеллект Бояться или нет? 5 книг про искусственный интеллект

Кто прав и чего нам ждать от инноваций? Пять книг на актуальную тему

Maxim
Юрий Олеша о «чувствах добрых» – и не очень Юрий Олеша о «чувствах добрых» – и не очень

Юрий Олеша – успешный писатель и человек трагической судьбы

Знание – сила
Капля по капле. 7 способов передать показания счетчиков расхода воды Капля по капле. 7 способов передать показания счетчиков расхода воды

Рассмотрим способы передачи показаний счетчиков воды

Лиза
Жизнь им к лицу Жизнь им к лицу

Как биохакеры пытаются победить переутомление, болезни и смерть

РБК
Открыть в приложении