Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Оказывается, пассажиров с гипсом могут не пустить в самолет: вот что нужно знать Оказывается, пассажиров с гипсом могут не пустить в самолет: вот что нужно знать

С какими нюансами можно столкнуться в аэропорту, если быть с гипсом

ТехИнсайдер
Масленица в Коломне Масленица в Коломне

Кругом угощения, блины, сладости! И этот дух сохранили в Коломне и сегодня!

Лиза
Что такое «зима искусственного интеллекта» и когда ее ждать Что такое «зима искусственного интеллекта» и когда ее ждать

Что происходит во время «зимы искусственного интеллекта»?

ТехИнсайдер
Петля затягивается: чем опасна новая уязвимость для проведения DDoS-атак Петля затягивается: чем опасна новая уязвимость для проведения DDoS-атак

Эксперты обнаружили новый вид атаки типа «отказ в обслуживании» (DDoS)

Forbes
Особый взгляд: 10 культовых фильмов, которые нам подарил Каннский кинофестиваль Особый взгляд: 10 культовых фильмов, которые нам подарил Каннский кинофестиваль

По случаю открытия 78-го смотра — десятка лучших фильмов в истории Канн

Правила жизни
Александр Михайлов о съемках в фильме «Любовь и голуби» и о работе с Гурченко, Дорошиной, Гундаревой Александр Михайлов о съемках в фильме «Любовь и голуби» и о работе с Гурченко, Дорошиной, Гундаревой

Дал себе слово, что сделаю все возможное и невозможное, но стану актером

Караван историй
«Инвесторы доверяют российскому рынку» «Инвесторы доверяют российскому рынку»

Российские инвестиции работают в отрыве от внешних рынков капитала третий год

Деньги
Очень старые деньги Очень старые деньги

Какими были доходы и расходы древних римлян?

Men Today
Из свиней сделают чипсы Из свиней сделают чипсы

Агрохолдинг «Талина» запустил в Мордовии промышленное производство мясных снеков

Монокль
Лишь секса тень Лишь секса тень

В каком возрасте больше секса?

Men Today
Темная сторона сексуальности: как актриса Шэрон Стоун противостояла обесцениванию Темная сторона сексуальности: как актриса Шэрон Стоун противостояла обесцениванию

История Шэрон Стоун: как общество относится к женской сексуальности

Forbes
«Никому не верю»: как празднуют первое апреля в разных странах «Никому не верю»: как празднуют первое апреля в разных странах

Рассказываем, как принято отмечать День дурака в разных уголках планеты

ТехИнсайдер
Сам себе профайлер Сам себе профайлер

Об основных психотипах и о том, как научиться их распознавать

Grazia
Если вы хотите завести питомца: 8 вопросов, которые стоит задать себе Если вы хотите завести питомца: 8 вопросов, которые стоит задать себе

Если вы подумываете о том, чтобы купить или взять из приюта животное, не спешите

Psychologies
Правда ли, что котам на флоте давали паспорта с отпечатком лапки Правда ли, что котам на флоте давали паспорта с отпечатком лапки

Были ли у котов на флоте настоящие документы, а не только "усы, лапы и хвост"?

ТехИнсайдер
Кибермошенничество. Актуальные схемы и меры противодействия Кибермошенничество. Актуальные схемы и меры противодействия

Как защитить себя и свои средства от кибермошенничества?

Наука и техника
Деньги с неба Деньги с неба

Какие подвохи может скрывать завещание и как защитить свои интересы

Лиза
Все альбомы Metallica от худшего к лучшему Все альбомы Metallica от худшего к лучшему

Падения и взлеты легендарной Metallica

Maxim
5 книг о спорте, которые понравятся даже тем, кто ненавидит спорт 5 книг о спорте, которые понравятся даже тем, кто ненавидит спорт

Книги о спорте, которые тронут душу даже самого неспортивного человека

Maxim
Ребенок разумный: выбираем оптимальную стратегию Ребенок разумный: выбираем оптимальную стратегию

Какие сферы жизни и развития ребенка сейчас стали слабым звеном?

Psychologies
Тренинг двойной эффективности: почему стоит нанимать женщин после декрета Тренинг двойной эффективности: почему стоит нанимать женщин после декрета

В каком контексте мамы строят карьеру, и почему они ценные сотрудники

Forbes
Алиса в стране несбывшихся надежд Алиса в стране несбывшихся надежд

«Нежный восток»: абсурдистское роуд-муви о попытке убежать от политики

Weekend
Из СССР — вокруг света: как Юрий Сенкевич прожил жизнь-путешествие Из СССР — вокруг света: как Юрий Сенкевич прожил жизнь-путешествие

Юрий Сенкевич и его жизнь, полная приключений

Psychologies
Парадоксы «кроличьей норы» Парадоксы «кроличьей норы»

Что случится, если упасть в туннель, проходящий Землю насквозь через её центр?

Наука и жизнь
За что держаться, когда думаешь, что мир рушится: концепция антихрупкости За что держаться, когда думаешь, что мир рушится: концепция антихрупкости

Что такое концепция антихрупкости, которая помогает выстоять?

VOICE
20 лучших мультфильмов всех времен (для любой возрастной категории) 20 лучших мультфильмов всех времен (для любой возрастной категории)

Лучшие мультфильмы — от диснеевских нетленок до культовой классики

Правила жизни
Вышел корейский триллер «День похищения». MAXIM публикует эксклюзивный отрывок Вышел корейский триллер «День похищения». MAXIM публикует эксклюзивный отрывок

Отрывок из национального бестселлера Южной Кореи

Maxim
«Так мне и надо, тут я и останусь»: как женщины попадают в современное рабство «Так мне и надо, тут я и останусь»: как женщины попадают в современное рабство

Почему проблема рабства касается прежде всего женщин

Forbes
Мексиканская Калифорния с севера на юг Мексиканская Калифорния с севера на юг

Калифорнийский полуостров — место особенное

Y Magazine
Макаки сложили цифры в двух рукавах лабиринта и выбрали оптимальный маршрут Макаки сложили цифры в двух рукавах лабиринта и выбрали оптимальный маршрут

Ученые научили макак перемещаться по компьютерному лабиринту

N+1
Открыть в приложении