Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Все мы не молодеем: 5 тестов для оценки скорости старения Все мы не молодеем: 5 тестов для оценки скорости старения

Простые тесты, которые помогут понять, насколько вы справляетесь со старением

ТехИнсайдер
Попкорн — вред или польза для здоровья? Узнайте интересные факты о популярной закуске! Попкорн — вред или польза для здоровья? Узнайте интересные факты о популярной закуске!

Попкорн — относительно полезная закуска или вредный снэк?

ТехИнсайдер
Что нужно помнить о DDoS-атаках и как от них защититься? Объясняет эксперт! Что нужно помнить о DDoS-атаках и как от них защититься? Объясняет эксперт!

DDoS-атаки — орудие самых злостных хакеров. Как защитить свои устройства?

ТехИнсайдер
Релокация в детство Релокация в детство

«Шепот сердца»: сказка из прошлой жизни

Weekend
«Дикое» государство: 7 фактов о жизни на Аляске «Дикое» государство: 7 фактов о жизни на Аляске

Вечная мерзлота, действующие вулканы, множество диких животных — все это Аляска

ТехИнсайдер
Все альбомы Depeche Mode от худшего к лучшему Все альбомы Depeche Mode от худшего к лучшему

Для тысяч россиян Depeche Mode — саундтрек всей их жизни, начиная с 80-х

Maxim
«Такое может случиться с каждым»: 4 серьезных удара по нашей психике «Такое может случиться с каждым»: 4 серьезных удара по нашей психике

Почему стоит обращаться к психотерапевтам после травматичных событий в жизни?

Psychologies
Вышел корейский триллер «День похищения». MAXIM публикует эксклюзивный отрывок Вышел корейский триллер «День похищения». MAXIM публикует эксклюзивный отрывок

Отрывок из национального бестселлера Южной Кореи

Maxim
Что можно сделать из консервной банки: 10+ отличных идей Что можно сделать из консервной банки: 10+ отличных идей

Ты знаешь, что совсем не обязательно выбрасывать консервные банки?

VOICE
Крадут градус Крадут градус

Там, где встречаются большие деньги и плохо охраняемые склады, жди беды

Правила жизни
Создатель усиленной красоты Создатель усиленной красоты

Модельер Клод Монтана сформировал парижскую моду 1980-х — начала 1990-х

Weekend
Хендмейд-косметика Хендмейд-косметика

Так ли безопасна хендмейд-косметика, как может показаться?

Здоровье
AR и VR в играх: почему самая ожидаемая революция в индустрии гейминга провалилась AR и VR в играх: почему самая ожидаемая революция в индустрии гейминга провалилась

Почему революция виртуальной и дополненной реальности не свершилась?

Forbes
Русский «Юнкерс»: как немцы помогали развивать авиацию в СССР Русский «Юнкерс»: как немцы помогали развивать авиацию в СССР

Вначале сотрудничества казалось, что Junkers и Россия созданы друг для друга

ТехИнсайдер
Планета Китай Планета Китай

Переезд в Поднебесную с детьми — личный опыт

Новый очаг
Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше

Недосып прибавляет к ощущаемому возрасту человека почти 4,5 года

ТехИнсайдер
Выжить после удара метеорита, авиакатастрофы и кораблекрушения: 10 самых везучих людей на планете Выжить после удара метеорита, авиакатастрофы и кораблекрушения: 10 самых везучих людей на планете

Рассказываем истории людей, которые прямо таки родились «под счастливой звездой»

ТехИнсайдер
Ню и автор Ню и автор

«Обнаженная муза Пьера Боннара»: бесхитростный байопик художника

Weekend
История графа Дракулы — от лютого воеводы до героя-любовника История графа Дракулы — от лютого воеводы до героя-любовника

Кто такой Дракула, почему интерес к нему не утихает, чем интересен роман Стокера

СНОБ
Джекпот, или пот чемпионов Джекпот, или пот чемпионов

Бум на спортивную меморабилию за океаном

RR Люкс.Личности.Бизнес.
Абсурдизм поможет справиться с проблемами в жизни? Интересные факты об этой философии Абсурдизм поможет справиться с проблемами в жизни? Интересные факты об этой философии

Вот как объясняет человеческие метания философ Альбер Камю

ТехИнсайдер
Как перестать думать о человеке? 4 совета психолога Как перестать думать о человеке? 4 совета психолога

Он или она заполняют все ваши мысли?

Psychologies
«Они приходят к нам, когда у нас в глазах не видно боли. Но боль пришла» «Они приходят к нам, когда у нас в глазах не видно боли. Но боль пришла»

Собаки и кошки знаменитых поэтов и писателей

Караван историй
Премиальный поворот Премиальный поворот

В России меняются представления о дорогих автомобилях

Деньги
Что это такое принцип Парето и как его применять Что это такое принцип Парето и как его применять

Оказывается, что 80% результата можно обеспечить 20% усилий

РБК
Перепись птичьего населения Перепись птичьего населения

Ученые предложили новый способ оценки синантропизации птиц

Наука
Шанс для защиты: как реагировать на иски прокуратуры о пересмотре итогов приватизации Шанс для защиты: как реагировать на иски прокуратуры о пересмотре итогов приватизации

Общие тенденции прокурорских исков имущества и защита от них

Forbes
«Задача трех тел»: удивительная научная фантастика от создателей «Игры престолов» «Задача трех тел»: удивительная научная фантастика от создателей «Игры престолов»

Какой получилась англоязычная экранизация азиатской фантастики «Задача трех тел»

Forbes
«Не простила мать и не хочу за ней ухаживать»: история двух сестер и комментарий психолога «Не простила мать и не хочу за ней ухаживать»: история двух сестер и комментарий психолога

Сумеют ли сестры понять друг друга и чем грозит невозможность договориться?

Psychologies
Эта Барби — продюсер: как Марго Робби создает и поддерживает женское кино Эта Барби — продюсер: как Марго Робби создает и поддерживает женское кино

Как LuckyChap Entertainment спродюсировала «Барби»

Forbes
Открыть в приложении