Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Исследование: в мозге человека нанопластика хватит на целую пластиковую ложку! Исследование: в мозге человека нанопластика хватит на целую пластиковую ложку!

Какие последствия может иметь для здоровья наличие в мозге нанопластика?

ТехИнсайдер
Археологи в Англии закопают обратно свою находку! Вот зачем это нужно Археологи в Англии закопают обратно свою находку! Вот зачем это нужно

Чтобы сохранить артефакты, археологи иногда закапывают их обратно в землю

ТехИнсайдер
Почему капитанский мостик находится в корме, если с носа обзор лучше Почему капитанский мостик находится в корме, если с носа обзор лучше

Где должен быть установлен капитанский мостик — на корме или на носу корабля?

ТехИнсайдер
Евгений Шамов Евгений Шамов

Почему все говорят о Евгении Шамове?

Собака.ru
Как набрать мышечную массу согласно науке: секреты рельефного тела Как набрать мышечную массу согласно науке: секреты рельефного тела

Набор мышечной массы – это не просто про штангу и куриную грудку

ТехИнсайдер
Что такое нависшее веко и как его убрать с помощью косметолога и хирурга Что такое нависшее веко и как его убрать с помощью косметолога и хирурга

Причины появления нависшего века, способы его убрать и скрыть под макияжем

РБК
Рассмеши меня, если сможешь: фильмы, где играют комики Рассмеши меня, если сможешь: фильмы, где играют комики

Комедии, байопик, оскароносная драма: фильмы, в которых играли комики

Правила жизни
Внимание, работают тревожные люди. Как справляться со стрессом начальнику и сотруднику Внимание, работают тревожные люди. Как справляться со стрессом начальнику и сотруднику

Как помочь себе и другим пережить трудные моменты

Inc.
Спасти императора Иоанна Спасти императора Иоанна

XVIII век Российского государства — «заговорщицкое» столетие

Дилетант
Биография в дырочку Биография в дырочку

«Отец шатунов»: книга о Мамлееве, равная своему герою

Weekend

Почему Томас Андерс и Дитер Болен сцепились не на жизнь, а на смерть?

VOICE
«Мне жутко не понравился Эйлат, но потрясло Мертвое море»: Саша Савельева рассказала, почему с мужем переехала в Израиль «Мне жутко не понравился Эйлат, но потрясло Мертвое море»: Саша Савельева рассказала, почему с мужем переехала в Израиль

Певица Саша Савельева заявила, что Мертвое море стало для нее «местом силы»

VOICE
Бережный уход Бережный уход

Как уволиться по закону, с радостью и выгодой

VOICE
Боевые сёстры братьев Кастро Боевые сёстры братьев Кастро

Кубинские женщины-революционерки прошли и партизанские отряды, и тюрьмы

Дилетант
Кандидат в вакцины Кандидат в вакцины

Российские ученые получили вакцинный штамм, эффективно защищающий свиней от АЧС

Агроинвестор
«Дневник обезьянки». Отрывок из книги Джейн Биркин «Дневник обезьянки». Отрывок из книги Джейн Биркин

Актриса и певица Джейн Биркин о жизни и учебе в Париже, искусстве и Эдит Пиаф

СНОБ
Она улетела Она улетела

Ракета «Ариан-5» ушла на покой

N+1
Брачные игры XXI века: что изменилось — мнение психолога Брачные игры XXI века: что изменилось — мнение психолога

Как изменились ухаживания в XXI веке?

Psychologies
Превратить грусть в суперсилу: 6 важных идей из книги «Переживание чувств» Превратить грусть в суперсилу: 6 важных идей из книги «Переживание чувств»

Грусть — наша тайная сила

Psychologies
Когнитивная простота: откуда берется склонность к манипуляциям — интервью психолога Когнитивная простота: откуда берется склонность к манипуляциям — интервью психолога

Кто такие манипуляторы и какие люди становятся их жертвами?

Psychologies
Душ и радар: топ-5 уникальных гаджетов для автомобиля Душ и радар: топ-5 уникальных гаджетов для автомобиля

Без каких девайсов не обойтись в долгой поездке

Maxim
Кто такие деинфлюенсеры и почему они возненавидели дорогие фены, термокружки и тушь Кто такие деинфлюенсеры и почему они возненавидели дорогие фены, термокружки и тушь

Существует ли деинфлюенсинг в России и насколько это явление новое

Forbes
Как выглядит нарциссический абьюз в отношениях: история героини и комментарий психолога Как выглядит нарциссический абьюз в отношениях: история героини и комментарий психолога

Что же отличает нарциссический абьюз от обычного?

Psychologies
Как в Фонде борьбы с лейкемией помогают подопечным перезапустить карьеру Как в Фонде борьбы с лейкемией помогают подопечным перезапустить карьеру

Как проект «Самое время жить. Карьера» помогает людям вернуться на рынок труда

Forbes
Как отключить подписку Кинопоиск HD: 4 способа Как отключить подписку Кинопоиск HD: 4 способа

Как отменить подписку на Кинопоиск на смартфоне, компьютере, телевизоре

CHIP
Когда женщины начали носить лифчики? Интересные факты! Когда женщины начали носить лифчики? Интересные факты!

Бюстгальтер — привычное нижнее белье на пересечении моды и функциональности

ТехИнсайдер
«Есть у 90% людей»: 5 признаков того, что на работе вы в детской позиции «Есть у 90% людей»: 5 признаков того, что на работе вы в детской позиции

Как детская позиция мешает увеличить доход?

Psychologies
«Кризис не придет из экономики»: главное из интервью экономиста Олега Ицхоки «Кризис не придет из экономики»: главное из интервью экономиста Олега Ицхоки

В России сложилась уникальная ситуация, считает Олег Ицхоки

Forbes
Как понять, что вы тактильный человек: 4 признака — проверьте себя Как понять, что вы тактильный человек: 4 признака — проверьте себя

Как определить, что вы прежде всего тактильный человек

Psychologies
С дымком С дымком

Как выбрать идеальный кусок мяса и что с ним дальше делать, чтобы вышло вкусно

Лиза
Открыть в приложении