Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Под замком Сфорца в Италии нашли тайные туннели: их описывал Леонардо да Винчи! Под замком Сфорца в Италии нашли тайные туннели: их описывал Леонардо да Винчи!

Как ученые смогли доказать, что под замком Сфорца существуют подземные туннели

ТехИнсайдер
Навязался гайморит. 4 неожиданные причины и способы лечения Навязался гайморит. 4 неожиданные причины и способы лечения

Что поможет отказаться от капель насовсем и начать дышать носом свободно?

Лиза
Выбросил пилота из кабины и сам приземлился: чем удивляет первый бесхвостый бомбардировщик «Жар-птица» Выбросил пилота из кабины и сам приземлился: чем удивляет первый бесхвостый бомбардировщик «Жар-птица»

К-12: «эта машина явилась прототипом всех современных сверхзвуковых самолетов»

ТехИнсайдер
Настроим четкость Настроим четкость

3 предвестника близорукости, на которые мало кто обращает внимание

Лиза
Сомнолог: после 20 часов без сна мозг теряет способность мыслить трезво Сомнолог: после 20 часов без сна мозг теряет способность мыслить трезво

Префронтальная кора не может нормально работать, если человек не высыпается

Inc.
Проект «Неделька» Проект «Неделька»

Постройнеть всего за семь дней, не отказываясь от пасты, бутербродов и десертов?

Лиза
Зумеры в России мечтают о раннем браке и большой семье: почему для них это важно Зумеры в России мечтают о раннем браке и большой семье: почему для них это важно

Почему одна из главных ценностей зумеров — создание собственной семьи?

Psychologies
Нейробика: сделать шаг в будущее Нейробика: сделать шаг в будущее

Как развить навыки, необходимые в высокотехнологичном мире?

Psychologies
В свободном полете В свободном полете

Самые внеземные коллекции одежды в истории моды

Men Today
10 автомобилей, внешность которых безнадежно испортили дизайнеры 10 автомобилей, внешность которых безнадежно испортили дизайнеры

Десять автомобилей, которые с треском провалились в дизайнерском развитии

Maxim
8 отличных сериалов, которые можно смотреть с любой серии 8 отличных сериалов, которые можно смотреть с любой серии

Сериалы, которые можно смотреть с какого угодно эпизода в случайном порядке

Maxim
Как восстановиться после травмы: книга о самопомощи для людей с ПТСР Как восстановиться после травмы: книга о самопомощи для людей с ПТСР

Почему после травмы часто возникают проблемы с контролем и безопасностью

Forbes
Темная сторона сексуальности: как актриса Шэрон Стоун противостояла обесцениванию Темная сторона сексуальности: как актриса Шэрон Стоун противостояла обесцениванию

История Шэрон Стоун: как общество относится к женской сексуальности

Forbes
У меня лапки У меня лапки

Паралич воли: что делать с выученной беспомощностью

Новый очаг
Горничная или кухарка? Определи, какая ты хозяйка! Горничная или кухарка? Определи, какая ты хозяйка!

Сколько существует типов хозяек и чем они отличаются?

VOICE
Стимуляция вентральных областей соматосенсорной коры привела к отсроченной остановке речи Стимуляция вентральных областей соматосенсорной коры привела к отсроченной остановке речи

Как соматосенсорная кора участвует в планировании речи

N+1
Фильм «Герой наших снов»: какие пороки высмеивает трагикомедия с Николасом Кейджем Фильм «Герой наших снов»: какие пороки высмеивает трагикомедия с Николасом Кейджем

«Герой наших снов»: какие насущные проблемы Америки поднимает этот фильм?

Forbes
Макаки сложили цифры в двух рукавах лабиринта и выбрали оптимальный маршрут Макаки сложили цифры в двух рукавах лабиринта и выбрали оптимальный маршрут

Ученые научили макак перемещаться по компьютерному лабиринту

N+1
Чек-лист тревожного человека: как понять, что тебе нужна помощь Чек-лист тревожного человека: как понять, что тебе нужна помощь

Как понять, что твоя тревожность уже вышла за рамки нормальной реакции

VOICE
Фактор стройности Фактор стройности

Питаясь по этой системе, ты не будешь чувствовать себя голодной

Лиза
Что такое компрессия в двигателе и по каким причинам ее может не быть Что такое компрессия в двигателе и по каким причинам ее может не быть

Все о компрессии двигателя: как проверить и почему она пропадает

РБК
Панацея или пустышка? Панацея или пустышка?

Как разглядеть потенциал у стартапов в сфере биомедтеха

РБК
Иван Кашпуров Иван Кашпуров

Кто, кроме земляков, сейчас помнит этого писателя?

Дилетант
Движение вверх Движение вверх

Переосмысление интерьера дома взрослой семейной пары для нового образа жизни

Идеи Вашего Дома
Петербург будущего Петербург будущего

Как применить ИИ во славу Петербурга будущего?

Собака.ru
«А что я такого сказала?»: 5 признаков «мягкого» буллинга, который используют женщины «А что я такого сказала?»: 5 признаков «мягкого» буллинга, который используют женщины

Иногда травля бывает такой нежной и вкрадчивой, что ее нелегко распознать

Psychologies
Пожалей меня: как отличить нужду в сострадании от манипуляции Пожалей меня: как отличить нужду в сострадании от манипуляции

Когда можно отказать партнеру в помощи и как это сделать, не обидев его?

Psychologies
Рыцари супа Рыцари супа

Рыцари павийского супа придумали, как разогреть патриотизм историческим рецептом

Вокруг света
Тупики победоносной войны Тупики победоносной войны

Причин для участия в подпольных движениях у португальских колоний было немного

Дилетант
В новую квартиру В новую квартиру

В эпоху переосмысления это полотно стало символом нормализации репрессий

Дилетант
Открыть в приложении