Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Может ли «кортизоловый коктейль» уменьшить стресс и повысить энергию Может ли «кортизоловый коктейль» уменьшить стресс и повысить энергию

Вы слышали о «кортизоловом коктейле»?

ТехИнсайдер
Тибетские выдры пристрастились к выпускаемой буддистами рыбе Тибетские выдры пристрастились к выпускаемой буддистами рыбе

Тибетские выдры явно предпочитают охотиться на чужеродные виды рыб

N+1
Революционное продвижение: как бизнесу попасть в ответы нейросетей Революционное продвижение: как бизнесу попасть в ответы нейросетей

Как сформировать цифровой след, который читают нейросети

Forbes
«Судьбы икон в Стране Советов» «Судьбы икон в Стране Советов»

Как православное искусство помогло индустриализации

N+1
Что такое «сухой запой» и что не так с решением жить в трезвости Что такое «сухой запой» и что не так с решением жить в трезвости

Что такое «сухой запой», почему так происходит и как спастись

Maxim
Что делать, если перещипала брови: 4 лучших выхода из ситуации Что делать, если перещипала брови: 4 лучших выхода из ситуации

Самые надежные и быстрые способы спасти свои брови после неудачной коррекции

VOICE
Вывести новый софт: как обновления ПО могут уберечь компанию от хакерских атак Вывести новый софт: как обновления ПО могут уберечь компанию от хакерских атак

Как компании могут свести возможность кибератак к минимуму

Forbes
Менопауза, поиски себя и свобода: история о том, что происходит с женщиной в 50 лет Менопауза, поиски себя и свобода: история о том, что происходит с женщиной в 50 лет

«Перемена» — сериал о том, как 50-летняя женщина отправляется на поиски себя

Forbes
Аудизм: почему мы так мало знаем о том, как на самом деле живут слабослышащие люди Аудизм: почему мы так мало знаем о том, как на самом деле живут слабослышащие люди

Как, разрушив стереотипы, прийти к понимаю между глухими и слышащими?

Forbes
Подготовка к ЭКО: что надо знать каждой женщине об овариальном резерве Подготовка к ЭКО: что надо знать каждой женщине об овариальном резерве

Овариальный резерв: что это такое, как его можно оценить и почему он важен?

Psychologies
Чистка электричеством Чистка электричеством

Можно ли обеззаразить воду хлорированием, не добавляя ни грамма хлорки?

ТехИнсайдер
6 глэмпингов в Подмосковье 6 глэмпингов в Подмосковье

Отдых на природе не обязательно предполагает сон в палатке и умывание в реке

СНОБ
«Измены мужа — ответственность жены»? 6 причин мужской неверности «Измены мужа — ответственность жены»? 6 причин мужской неверности

Как быть? Давайте для начала разберемся, почему мужчины изменяют

Psychologies
Глупость в квадрате: что такое эффект Даннинга-Крюгера и как ему противостоять Глупость в квадрате: что такое эффект Даннинга-Крюгера и как ему противостоять

В чем суть эффекта Даннинга-Крюгера? Как оно проявляется в обычной жизни?

Psychologies
Тайные сигналы: как понять, о чем говорят чувства, — 5 шагов Тайные сигналы: как понять, о чем говорят чувства, — 5 шагов

Можно ли управлять болью, гневом и другими разрушающими чувствами?

Psychologies
Страх родов — это нормально: как настраиваться и не паниковать во время беременности? Страх родов — это нормально: как настраиваться и не паниковать во время беременности?

Нужно ли бороться со страхом родов?

VOICE
Мыслить иначе: 8 книг для развития неординарного мышления Мыслить иначе: 8 книг для развития неординарного мышления

Книги про то, как мыслить за пределами обыденности

ТехИнсайдер
Как понять, что вы — манипулятор? Как понять, что вы — манипулятор?

Разбираем, как распознать манипулятивное поведение в себе

Psychologies
Аэрогель повысил огнестойкость дрона Аэрогель повысил огнестойкость дрона

Дрон выдерживает температуру в 200 градусов Цельсия с помощью аэрогеля

N+1
Телефонная зависимость: что такое фаббинг и как с ним справиться Телефонная зависимость: что такое фаббинг и как с ним справиться

Как распознать у себя фаббинг и как от него избавиться

Правила жизни
Как мозг управляет иммунной системой при воспалениях и травмах Как мозг управляет иммунной системой при воспалениях и травмах

Как наш организм справляется с воспалениями и травмами?

ТехИнсайдер
В океане живут бессмертные существа, которые могли видеть динозавров В океане живут бессмертные существа, которые могли видеть динозавров

«Бессмертная медуза» названа так потому, что теоретически она может жить вечно

ТехИнсайдер
Звезда родилась: лучшие байопики о музыкантах Звезда родилась: лучшие байопики о музыкантах

Музыкальные байопики, на которые стоит потратить время

Правила жизни
Как жить легче: учимся у французских скульпторов и психоаналитиков Как жить легче: учимся у французских скульпторов и психоаналитиков

Отрывок из книги «Французское искусство жить не напрягаясь»

Psychologies
Как преодолеть стереотипы общества и позволить себе быть просто женщиной Как преодолеть стереотипы общества и позволить себе быть просто женщиной

Как стереотипы заставляют женщину быть кем-то другим?

Psychologies
«Уинстон Черчилль: его эпоха, его преступления» «Уинстон Черчилль: его эпоха, его преступления»

Фрагмент книги «Уинстон Черчилль: его эпоха, его преступления»

N+1
Вопрос, волнующий всех собачников: можно ли питомцу давать кости? Вопрос, волнующий всех собачников: можно ли питомцу давать кости?

Можно ли давать собакам кости, которые остаются после ужина?

ТехИнсайдер
Как в Калининграде развивается среда для людей с инвалидностью Как в Калининграде развивается среда для людей с инвалидностью

Роман Аранин развивает в Калининграде доступную среду для людей с инвалидностью

Forbes
38-летний флегматичный отец двоих детей превратился в агрессора: как это случилось 38-летний флегматичный отец двоих детей превратился в агрессора: как это случилось

Может ли личность человека измениться из-за опухоли?

Psychologies
Трагическая жизнь Шинейд О'Коннор: «пытки» в детстве, смерть сына и четыре неудачных брака Трагическая жизнь Шинейд О'Коннор: «пытки» в детстве, смерть сына и четыре неудачных брака

Трагическая история жизни Шинейд О'Коннор

VOICE
Открыть в приложении