Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Способ приготовления кофе влияет на продолжительность вашей жизни Способ приготовления кофе влияет на продолжительность вашей жизни

Какой способ приготовления кофе сохраняет защитные эффекты напитка?

ТехИнсайдер
«Девушки здесь все такие милые»: литературный триллер про токсичную компанию подруг «Девушки здесь все такие милые»: литературный триллер про токсичную компанию подруг

Отрывок из романа «Девушки здесь все такие милые» — истории о соперничестве

Forbes
Как Мэй Хабиб заработала $285 млн на ИИ-агентах, способных заменить 90% работников Как Мэй Хабиб заработала $285 млн на ИИ-агентах, способных заменить 90% работников

Как Мэй Хабиб создает ПО на базе ИИ, которое берет на себя рутинные задачи

Forbes
Волшебная нить, которую придумал дантист: удивительная история создания сахарной ваты Волшебная нить, которую придумал дантист: удивительная история создания сахарной ваты

Кто именно и при каких обстоятельствах придумал наматывать сахар на палочку?

ТехИнсайдер
50 лет исследований показали: эти 4 ошибки разрушают брак 50 лет исследований показали: эти 4 ошибки разрушают брак

Четыре стратегии общения, которые могут привести к расставаниям и разводам

Inc.
Ботаники переоткрыли пять потерянных видов растений из Перу и Эквадора Ботаники переоткрыли пять потерянных видов растений из Перу и Эквадора

Ботаники переоткрыли в Перу и Эквадоре пять тропических растений из рода Nasa

N+1
«От измены всегда страдают лишь женщины»: мнение читательницы комментирует психолог «От измены всегда страдают лишь женщины»: мнение читательницы комментирует психолог

Правда ли, что от измен всегда страдает только женщина?

Psychologies
В титане нашли орбитальный эффект Холла В титане нашли орбитальный эффект Холла

Открытие, которое поможет уточнить механизм поведения металлов в магнитном поле

N+1
Кандидат в вакцины Кандидат в вакцины

Российские ученые получили вакцинный штамм, эффективно защищающий свиней от АЧС

Агроинвестор
Как подобрать купальник по типу фигуры: секреты, которые нужно знать каждой Как подобрать купальник по типу фигуры: секреты, которые нужно знать каждой

Подробный гайд о том, как подобрать купальник под свой тип фигуры

VOICE
Базилик Базилик

Чем полезен базилик? Исследуем суперфуд и пробуем пару рецептов

Здоровье
Вредничает или болеет Вредничает или болеет

Почему животное не слушается, проявляет агрессию или метит территорию?

Лиза
Панк, алкоголь, нечисть: из чего состоит группа «Король и Шут» Панк, алкоголь, нечисть: из чего состоит группа «Король и Шут»

Покопаемся во вселенной группы КиШ и рассказать, из чего она устроена

Правила жизни
Почему Великобритания вступила в Первую мировую войну Почему Великобритания вступила в Первую мировую войну

Отрывок из книги «Уинстон Черчилль: его эпоха, его преступления»

СНОБ
Почему бегать можно не всем? Узнайте о пользе и вреде бега Почему бегать можно не всем? Узнайте о пользе и вреде бега

Хотя преимущества активности очевидны, полезен ли бег для каждого человека?

ТехИнсайдер
Вопрос, волнующий всех собачников: можно ли питомцу давать кости? Вопрос, волнующий всех собачников: можно ли питомцу давать кости?

Можно ли давать собакам кости, которые остаются после ужина?

ТехИнсайдер
Удалить нельзя оставить. Как быть с корнем зуба в разных случаях Удалить нельзя оставить. Как быть с корнем зуба в разных случаях

Бывают в жизни случаи, когда от зуба по разным причинам остается только корень

Лиза
На юге Италии нашли похороненного ничком мужчину эпохи неолита На юге Италии нашли похороненного ничком мужчину эпохи неолита

Палеогенетики изучили останки мужчины, которого похоронили в эпоху неолита

N+1
«Ласковый убийца»: что надо знать о гепатите С «Ласковый убийца»: что надо знать о гепатите С

Чем опасен гепатит С, легко ли им заразиться и как защитить от инфекции себя?

Psychologies
5 антиутопий, которые стоит перечитать 5 антиутопий, которые стоит перечитать

Пять известных романов, которые помогут заглянуть в воображаемый мир

СНОБ
Механический интеллект Механический интеллект

Как наука и искусство докомпьютерной эпохи пытались создать AI

Weekend
На что похожа жизнь свободного человека и каким бывает детство в Репино На что похожа жизнь свободного человека и каким бывает детство в Репино

Сююмбике Давлет-Кильдеева — о радостях жизни на Финском заливе

РБК
Как преодолеть стереотипы общества и позволить себе быть просто женщиной Как преодолеть стереотипы общества и позволить себе быть просто женщиной

Как стереотипы заставляют женщину быть кем-то другим?

Psychologies
Увлеченным мечтой о свободе Увлеченным мечтой о свободе

Что делать с тремя моделями у моря

Автопилот
Самые странные и уродливые смартфоны последних 15 лет Самые странные и уродливые смартфоны последних 15 лет

После первого айфона все смартфоны выглядели одинаково? А вот и нет!

Maxim
Патчи для глаз: для чего нужны и как правильно пользоваться Патчи для глаз: для чего нужны и как правильно пользоваться

Для чего нужны патчи и зачем в них микроиглы?

РБК
Не только банкинг: как крупный российский ретейлер дружит с IT и решает нетривиальные задачи посредством технологий Не только банкинг: как крупный российский ретейлер дружит с IT и решает нетривиальные задачи посредством технологий

Как именно ретейлеры используют IT-технологии для решения сложных бизнес-задач

Inc.
Старые вещи: зачем «Мосгорломбард» вновь собрался на IPO Старые вещи: зачем «Мосгорломбард» вновь собрался на IPO

Сеть ломбардов «Мосгорломбард» планирует в IV квартале этого года выйти на биржу

Forbes
Тайна темных звезд: удивительные космические тела, состоящие из темной материи Тайна темных звезд: удивительные космические тела, состоящие из темной материи

Телескоп Уэбба нашел кандидатов на роль «темных звезд»

ТехИнсайдер
Вытащить с того света, спасти от чумы и принять роды: к чему должен быть готов экипаж воздушного судна Вытащить с того света, спасти от чумы и принять роды: к чему должен быть готов экипаж воздушного судна

Как и чем могут помочь бортпроводники:

ТехИнсайдер
Открыть в приложении