Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ученые говорят, что наши мышцы стареют не так быстро, как нам кажется Ученые говорят, что наши мышцы стареют не так быстро, как нам кажется

У пожилых людей мышечные повреждения после спортивных нагрузок не так серьезны

ТехИнсайдер
Какая частота обновления экрана нужна обычному пользователю Какая частота обновления экрана нужна обычному пользователю

Зачем смартфонам дисплеи на 90, 120, 144 Гц?

CHIP
5 новых технологий, которые радикально изменят современный автопром 5 новых технологий, которые радикально изменят современный автопром

Современные автомобили давно стали гаджетами на колесах. Но что впереди?

РБК
Лучшие платформеры на ПК: топ-10 проектов в 2023 году Лучшие платформеры на ПК: топ-10 проектов в 2023 году

10 лучших игр-платформеров в 2023 году на ПК

CHIP
Кто особенно склонен к изменам: 3 ключевые психологические черты, подталкивающие к неверности Кто особенно склонен к изменам: 3 ключевые психологические черты, подталкивающие к неверности

Почему некоторые люди изменяют, а другие — нет?

Psychologies
Как бизнесмены и миллионеры открывают музеи на Урале Как бизнесмены и миллионеры открывают музеи на Урале

Почему уральские бизнесмены открывают музеи и что привлекает в них публику?

Forbes
Дело тонкое Дело тонкое

Что надо знать российскому бизнесу при выходе на арабский рынок

Деньги
Klauzura Klauzura

Основательницы бюро Klauzura открыли первый в России архитектурный коворкинг

Собака.ru
Большие дачные приключения Большие дачные приключения

8 веселых идей для отпуска за городом

Лиза
Советы аэрофобам: как преодолеть страх перед полетом Советы аэрофобам: как преодолеть страх перед полетом

Что делать, если вы боитесь летать?

ТехИнсайдер
Владимир Маяковский в десяти словах, сказанных им самим Владимир Маяковский в десяти словах, сказанных им самим

Портрет Владимира Маяковского в десяти словах из его стихов

Правила жизни
Ресурс, который надо беречь Ресурс, который надо беречь

Для чего нам нужен белок эластин и как поддержать его баланс?

Здоровье
Бессмысленный и беспощадный: пятиминутный путеводитель по бунтам Бессмысленный и беспощадный: пятиминутный путеводитель по бунтам

Несколько бунтов разной степени успешности

Правила жизни
Фельдшер скорой помощи нашла остатки парейазавра на берегу Вятки Фельдшер скорой помощи нашла остатки парейазавра на берегу Вятки

Древняя парарептилия жила около 260 миллионов лет назад

N+1
Ехать нельзя остаться Ехать нельзя остаться

Как отлично провести время в отпуске дома?

Лиза
Правила жизни Джорджо Армани Правила жизни Джорджо Армани

Правила жизни итальянского модельера Джорджо Армани

Правила жизни
От укачивания в транспорте можно использовать специальные очки! Вот как они работают От укачивания в транспорте можно использовать специальные очки! Вот как они работают

Необычный способ, который спасет ваш будущий отпуск

ТехИнсайдер
Покупка подержанного MINI Countryman. Стильно, модно и надёжно Покупка подержанного MINI Countryman. Стильно, модно и надёжно

Зачем вам покупать подержанный MINI Countryman?

4x4 Club
Климат-контроль: как прогнозирование погоды помогает компаниям стать успешнее Климат-контроль: как прогнозирование погоды помогает компаниям стать успешнее

Как связаны прогнозирование погоды и успех бизнеса?

Forbes
Шаманы и шаманизм Шаманы и шаманизм

Почему шаманизм многих пугает и как он работает на самом деле?

Лиза
Боль и предательство: почему ушла из кино звезда фильма Боль и предательство: почему ушла из кино звезда фильма

Наталья Вавилова внезапно бросила кино на пике славы. Что же случилось?

VOICE
Как перестать ненавидеть понедельники: 3 простых решения Как перестать ненавидеть понедельники: 3 простых решения

Как построить свою жизнь, чтобы мысли о понедельнике приносили радость?

Psychologies
«Формула-1» бьет рекорды: почему команды серии дорожают на сотни процентов в год «Формула-1» бьет рекорды: почему команды серии дорожают на сотни процентов в год

Оценки стоимости команд «Формулы-1» стремительно растут

Forbes
Громкое имя Громкое имя

Почему Seville стремится на мировую сцену и сколько раз считает нужным влюбиться

VOICE
Как одеться в дождь и отлично выглядеть — 5 идей от героев стритстайла Как одеться в дождь и отлично выглядеть — 5 идей от героев стритстайла

Как в дождливую погоду одеваться без риска промокнуть и без ущерба стилю?

Правила жизни
Евгений Шамов Евгений Шамов

Почему все говорят о Евгении Шамове?

Собака.ru
Она улетела Она улетела

Ракета «Ариан-5» ушла на покой

N+1
«Мною сильно манипулировали»: Кристина Асмус объяснила, почему не уходила от избивавшего ее мужчины «Мною сильно манипулировали»: Кристина Асмус объяснила, почему не уходила от избивавшего ее мужчины

Актрису возмутили предположения о том, что она сама виновата в домашнем насилии

VOICE
Ольга Ребайн Ольга Ребайн

Основательница компании Jonacor Marine — о задачах яхтенного агентства

Y Magazine
«Медведь» выходит на второй курс: как одно из самых оригинальных шоу 2022 года стало деликатесом в мире сериалов «Медведь» выходит на второй курс: как одно из самых оригинальных шоу 2022 года стало деликатесом в мире сериалов

Почему «Медведь» — один из самых лучших современных сериалов

Правила жизни
Открыть в приложении