Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Вместо похода к психологу: 4 домашних дела, которые помогут успокоить нервы Вместо похода к психологу: 4 домашних дела, которые помогут успокоить нервы

Как снизить уровень стресса и снять тревогу в домашних условиях?

ТехИнсайдер
«Аббатство Даунтон»: Миллионные вложения, армия поклонников и похвала Елизаветы II «Аббатство Даунтон»: Миллионные вложения, армия поклонников и похвала Елизаветы II

Почему именно «Даунтон» завоевал сердца зрителей? Здесь нет ничего случайного

Караван историй
Обновления нарочно ломают наши телефоны и еще 9 мифов о гаджетах Обновления нарочно ломают наши телефоны и еще 9 мифов о гаджетах

10 самых распространенных мифов об электронных устройствах

Maxim
Кто такой Генри Форд и как ему удалось построить автомобильную империю Кто такой Генри Форд и как ему удалось построить автомобильную империю

Человек, который стал не только символом автомобилизации, но и изменил мир

РБК
Недобрососедские отношения: как зумеры обесценили мечту миллениалов и что из этого получилось Недобрососедские отношения: как зумеры обесценили мечту миллениалов и что из этого получилось

Почему зумерам и миллениалами так сложно взаимодействовать друг с другом?

Правила жизни
Тепловое зрение HADAR рассмотрит текстуру предметов даже ночью Тепловое зрение HADAR рассмотрит текстуру предметов даже ночью

Ученые разработали технологию пассивного теплового зрения HADAR

N+1
«Ухо пловца» «Ухо пловца»

Наружный отит: что это за заболевание и у кого оно возникает чаще всего?

Здоровье
Боль и предательство: почему ушла из кино звезда фильма Боль и предательство: почему ушла из кино звезда фильма

Наталья Вавилова внезапно бросила кино на пике славы. Что же случилось?

VOICE
Алла Юганова: «Была уверена, что Кончитту должна играть очень красивая актриса, а я самая обыкновенная...» Алла Юганова: «Была уверена, что Кончитту должна играть очень красивая актриса, а я самая обыкновенная...»

Иногда читаешь сценарий и думаешь: «Ну, авторы накрутили! Разве так бывает?»

Коллекция. Караван историй
Вопрос психологу: как изучают психику, если ее не видно? Вопрос психологу: как изучают психику, если ее не видно?

Что мы знаем о мозге и какие знания можем использовать, а какие вопросы остаются

Правила жизни
Вымершие карликовые бегемоты указали на молодость травянистых равнин Мадагаскара Вымершие карликовые бегемоты указали на молодость травянистых равнин Мадагаскара

Ученые выяснили, что вымершие карликовые бегемоты жили в лесах

N+1
Бунтарство, «ежик» и подиумный опыт: какой мода запомнит Шинейд О'Коннор Бунтарство, «ежик» и подиумный опыт: какой мода запомнит Шинейд О'Коннор

Ирландская певица Шинейд О'Коннор — персона неоднозначная, но яркая

Правила жизни
О чем были песни группы «Звуки Му» О чем были песни группы «Звуки Му»

Чем интересно творчество группы «Звуки Му»

СНОБ
«Колония»: роман о жизни на маленьком ирландском острове «Колония»: роман о жизни на маленьком ирландском острове

Писательница рассказывает о жизни на маленьком ирландском острове

Forbes
60-тысячелетний зуб с острова Ява приписали сапиенсу 60-тысячелетний зуб с острова Ява приписали сапиенсу

Палеоантропологи исследовали два молочных зуба, найденные в индонезийской пещере

N+1
7 аудиокниг для совместного прослушивания с детьми 7 аудиокниг для совместного прослушивания с детьми

Озвученные уютные произведения для семейных вечеров

СНОБ
Когда закончится музыка. Как жил и писал хиты Джим Моррисон Когда закончится музыка. Как жил и писал хиты Джим Моррисон

Как The Doors изменили мировую музыку

СНОБ
От «липкого пола» до «стеклянного потолка»: словарь женской карьеры От «липкого пола» до «стеклянного потолка»: словарь женской карьеры

Словарик гендерного неравенства на рынке труда

Forbes
Ответ на глобальные вызовы, или почему будущее за инвестициями в импакт-проекты | The Answer to Global Challenges: Why Investing in Impact Projects is the Future Ответ на глобальные вызовы, или почему будущее за инвестициями в импакт-проекты | The Answer to Global Challenges: Why Investing in Impact Projects is the Future

Глобальные вызовы требуют пересмотра стандартных практик и моделей в инвестициях

Позитивные изменения
Физики нашли в замещенном апатите свинца комнатную сверхпроводимость при атмосферном давлении Физики нашли в замещенном апатите свинца комнатную сверхпроводимость при атмосферном давлении

Ученые нашли у апатита свинца сверхпроводящие свойства при комнатной температуре

N+1
«Понюхать грязные подгузники»: 5 безумных психологических экспериментов — радуйтесь, что вы в них не участвовали «Понюхать грязные подгузники»: 5 безумных психологических экспериментов — радуйтесь, что вы в них не участвовали

Психологические эксперименты, в которых подопытных унижают и пугают

Psychologies
Почему рыба-капля выглядит так странно и смешно: факты Почему рыба-капля выглядит так странно и смешно: факты

Что мы знаем о рыбе-капле?

ТехИнсайдер
Место в мире Место в мире

Чтобы найти свою планету в огромной Вселенной, нужно знать точный адрес

ТехИнсайдер
«Я не развелся»: Леша Свик рассказал об измене жене, которая ушла от него после рождения дочери «Я не развелся»: Леша Свик рассказал об измене жене, которая ушла от него после рождения дочери

Ксения Ткачева обвинила Лешу Свика в измене сразу после пополнения в семействе

VOICE
Вода: сколько пить в литрах? Вода: сколько пить в литрах?

Правильный питьевой режим — что это за зверь?

Здоровье
Колоссальный кальмар: с чего началась история открытия данного вида? Колоссальный кальмар: с чего началась история открытия данного вида?

В 1925 году Г.К. Робсон описал кальмара под названием Mesonychoteuthis hamilton

ТехИнсайдер
Пол гоминин возрастом более двух миллионов лет установили по белкам зубной эмали Пол гоминин возрастом более двух миллионов лет установили по белкам зубной эмали

Ученые выполнили анализ протеомов зубной эмали четырех особей гоминин

N+1
Инфляция растет: как защитить свои деньги Инфляция растет: как защитить свои деньги

Как инвесторам защитить свои сбережения, когда инфляция разгоняется?

Forbes
Кому и зачем нужна эталонная сигарета и почему можно спокойно удалить шагомер Кому и зачем нужна эталонная сигарета и почему можно спокойно удалить шагомер

Книга Джеймса Винсента расскажет о многих интересных исторических аспектах

Forbes
Расследование 18-летнего журналиста привело к отставке президента Стэнфорда Расследование 18-летнего журналиста привело к отставке президента Стэнфорда

Возможно, самый молодой лауреат премии Джорджа Полка в истории журналистики

ТехИнсайдер
Открыть в приложении