Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Что делать, если угнали машину: полиция, страховая, кредиторы и эвакуаторы Что делать, если угнали машину: полиция, страховая, кредиторы и эвакуаторы

Памятка на случай, если кража автомобиля уже произошла и пора действовать

ТехИнсайдер
«Не превращайтесь в жертву»: как сохранить отношения после измены — 11 шагов «Не превращайтесь в жертву»: как сохранить отношения после измены — 11 шагов

После первой шоковой реакции на измену встает вопрос: что будет дальше?

Psychologies
От бронирования переговорной до входа в бизнес-зал: где используется биометрия в России От бронирования переговорной до входа в бизнес-зал: где используется биометрия в России

Зачем нужна биометрия и как ее использовать в России

ТехИнсайдер
Деньги важнее титулов: 5 самых прибыльных выставочных поединков в истории бокса Деньги важнее титулов: 5 самых прибыльных выставочных поединков в истории бокса

Самые коммерчески успешные поединки прошлого

Forbes
Природное и культурное наследие: 5 самых впечатляющих объектов из списка ЮНЕСКО в России Природное и культурное наследие: 5 самых впечатляющих объектов из списка ЮНЕСКО в России

Впечатляющие объекты, входящие в список Всемирного наследия ЮНЕСКО

ТехИнсайдер
Сколько лет, сколько ЗИМ Сколько лет, сколько ЗИМ

Автомобиль-конструктор с заводным механизмом из 50-х годов

Автопилот
10 фото Шинейд О'Коннор, которые говорят все о ее жизни 10 фото Шинейд О'Коннор, которые говорят все о ее жизни

Самые важные факты из жизни Шинейд О'Коннор

Maxim
Старт дан: что дальше? Старт дан: что дальше?

Для успешного развития проекты фермеров нуждаются в нефинансовой поддержке

Агроинвестор
10 странных книг, написанных в необычной форме 10 странных книг, написанных в необычной форме

Иногда писатели сознательно ломают форму произведений, чтобы было интереснее

Maxim
«Рома приобнял меня на балконе»: Наталья Штурм рассказала, как за ней ухаживал Абрамович «Рома приобнял меня на балконе»: Наталья Штурм рассказала, как за ней ухаживал Абрамович

Наталья Штурм рассказала о своем школьном романе

VOICE
Инструкция ПЖ: как релоцировать российских сотрудников с минимальными потерями Инструкция ПЖ: как релоцировать российских сотрудников с минимальными потерями

Как релоцировать сотрудников, чтобы они не чувствовали себя потерянными

Правила жизни
Почему некоторые растения становятся плотоядными: загадочные хищники Почему некоторые растения становятся плотоядными: загадочные хищники

Что сподвигло некоторые виды растений перейти на диету из живых существ?

ТехИнсайдер
«Моя трехлетняя дочь уже проявляет актерский талант»: Михаил Полицеймако рассказал о четверых детях «Моя трехлетняя дочь уже проявляет актерский талант»: Михаил Полицеймако рассказал о четверых детях

Михаил Полицеймако рассказал, чем его радуют средняя и младшая дочь

VOICE
От Вирджинии Вулф до Кэролайн Криадо-Перес: 13 главных книг о феминизме От Вирджинии Вулф до Кэролайн Криадо-Перес: 13 главных книг о феминизме

Что почитать, чтобы понять, чем занимаются феминистки

Forbes
Почему спать с открытым ртом – вредно для здоровья: 6 опасных последствий Почему спать с открытым ртом – вредно для здоровья: 6 опасных последствий

Надоело просыпаться с заложенным носом и пересохшим ртом?

ТехИнсайдер
«Девушки здесь все такие милые»: литературный триллер про токсичную компанию подруг «Девушки здесь все такие милые»: литературный триллер про токсичную компанию подруг

Отрывок из романа «Девушки здесь все такие милые» — истории о соперничестве

Forbes
Долгая дорога к социальным дивидендам | The Long Road to a Social Dividend Долгая дорога к социальным дивидендам | The Long Road to a Social Dividend

Введение «социальных дивидендов» как вариант развития экономических отношений

Позитивные изменения
«Мы пара, но не одно целое»: 4 упражнения, чтобы найти правильную дистанцию с партнером «Мы пара, но не одно целое»: 4 упражнения, чтобы найти правильную дистанцию с партнером

Игровые задания, которые помогут найти свою меру близости в отношениях

Psychologies
Женщина, которая поймет Женщина, которая поймет

Анна Михалкова отражает все русское женское в одном лице

Weekend
Образование с градусом. Где учат делать авторский алкоголь Образование с градусом. Где учат делать авторский алкоголь

Где учат варить пиво, делать сидр, настойки, коктейли и работать с су-видом

СНОБ
Зачем нас заставляют доставать ноутбуки на досмотре в аэропорту? Зачем нас заставляют доставать ноутбуки на досмотре в аэропорту?

Какую опасность могут представлять ноутбуки в аэропорту?

ТехИнсайдер
Какой домашний вентилятор лучше купить вместо кондиционера Какой домашний вентилятор лучше купить вместо кондиционера

Вы знали, что вентиляторы умеют ароматизировать и даже фильтровать воздух?

CHIP
В большинстве российских компаний не видят пользу цифрового рубля для бизнеса В большинстве российских компаний не видят пользу цифрового рубля для бизнеса

Более 65% российских компаний не видят преимущества цифрового рубля для бизнеса

Forbes
Как мозг управляет иммунной системой при воспалениях и травмах Как мозг управляет иммунной системой при воспалениях и травмах

Как наш организм справляется с воспалениями и травмами?

ТехИнсайдер
«Каракули» из молитвенника Генриха VIII, возможно, указывают на его депрессию «Каракули» из молитвенника Генриха VIII, возможно, указывают на его депрессию

Как Генрих VIII боролся с тревогой и религиозным чувством вины

ТехИнсайдер
Когда люди начали курить сигареты? История вредной привычки Когда люди начали курить сигареты? История вредной привычки

Что однажды заставило человека воспользоваться табаком?

ТехИнсайдер
Отец «червя», профессор, бизнесмен: история Роберта Тэппэна Морриса — студента, который изменил интернет Отец «червя», профессор, бизнесмен: история Роберта Тэппэна Морриса — студента, который изменил интернет

Вспоминаем историю человека, который  случайно «взломал» интернет

Правила жизни
Колоссальный кальмар: с чего началась история открытия данного вида? Колоссальный кальмар: с чего началась история открытия данного вида?

В 1925 году Г.К. Робсон описал кальмара под названием Mesonychoteuthis hamilton

ТехИнсайдер
Под Томском нашли бронзовую модель лука и булаву из рога раннего железного века Под Томском нашли бронзовую модель лука и булаву из рога раннего железного века

Результаты раскопок могильника шеломокской культуры

N+1
Раннемеловое млекопитающее поохотилось на динозавра втрое тяжелее себя Раннемеловое млекопитающее поохотилось на динозавра втрое тяжелее себя

Необычная окаменелость, которая сохранила сцену охоты Repenomamus robustus

N+1
Открыть в приложении