Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Восстание из пепла: публичные личности, которым удалось реабилитировать свою карьеру Восстание из пепла: публичные личности, которым удалось реабилитировать свою карьеру

Каким публичным личностям удавалось вернуть себе былой успех после провала?

ТехИнсайдер
В ранней Вселенной наблюдаемое время протекает в 5 раз медленнее В ранней Вселенной наблюдаемое время протекает в 5 раз медленнее

Астрономы впервые наблюдали эффект, предсказанный Эйнштейном более века назад

ТехИнсайдер
Можно ли плавать в Apple Watch: разбираемся в нюансах умных часов компании Можно ли плавать в Apple Watch: разбираемся в нюансах умных часов компании

Можно ли плавать в Apple Watch? Давайте разбираться. Нюансов здесь хватает

ТехИнсайдер
Продлеваем жизнь маникюру: как определить свой тип ногтей и зачем это нужно Продлеваем жизнь маникюру: как определить свой тип ногтей и зачем это нужно

Лак не держится долго? Возможно, дело в ногтях

VOICE
Недосып и тревожность: как сон влияет на психику и почему возникают панические атаки Недосып и тревожность: как сон влияет на психику и почему возникают панические атаки

Почему недосып — это не просто усталость

Правила жизни
7 самых безжалостных авторов фэнтези 7 самых безжалостных авторов фэнтези

Писатели, которые уже составили себе славу кровожадных мучителей своих героев

Maxim
Законное оскорбление величия Законное оскорбление величия

История Древнего Рима в зеркале сериальной продукции

Weekend
Характер такой: пятиминутный путеводитель по основным психотипам Характер такой: пятиминутный путеводитель по основным психотипам

Психотипы: основные особенности и моменты, на которые нужно обратить внимание

Правила жизни
История о приемных детях и важной миссии для подростка История о приемных детях и важной миссии для подростка

Как примирить подростка с присутствием в семье приемного ребенка с особенностями

СНОБ
8 вещей, которые круто меняют жизнь к лучшему, но мало у кого есть 8 вещей, которые круто меняют жизнь к лучшему, но мало у кого есть

Некоторые вещи меняют жизнь волшебным образом!

Maxim
«Я чувствую себя зомби»: россиянки объяснили, почему материнство сложнее офисной работы — 15 причин «Я чувствую себя зомби»: россиянки объяснили, почему материнство сложнее офисной работы — 15 причин

Главные трудности, с которыми сталкиваются многие матери

Psychologies
От оскорблений до нападений: с чем сталкиваются женщины-политики От оскорблений до нападений: с чем сталкиваются женщины-политики

Женщины-политики чаще, чем мужчины, подвергаются оскорблениям и получают угрозы

Forbes
Место на кухне: 10 лучших фильмов и сериалов про еду, рестораны и работу шеф-поваров Место на кухне: 10 лучших фильмов и сериалов про еду, рестораны и работу шеф-поваров

Фильмы и сериалы про высокую кухню, забегаловки и вспыльчивых шеф-поваров

Forbes
Я — сноб: актриса Наташа Бардо Я — сноб: актриса Наташа Бардо

Актриса Наташа Бардо — о том, что удивляет ее в людях больше всего

СНОБ
Фельдшер скорой помощи нашла остатки парейазавра на берегу Вятки Фельдшер скорой помощи нашла остатки парейазавра на берегу Вятки

Древняя парарептилия жила около 260 миллионов лет назад

N+1
Верить в бота: как локальное подразделение ММК вышло на внешний рынок Верить в бота: как локальное подразделение ММК вышло на внешний рынок

Взлета RPA можно ожидать на горизонте пяти лет

Forbes
Освещение с датчиком движения: какой светильник выбрать Освещение с датчиком движения: какой светильник выбрать

Вопрос комфортного освещения может быть решен светильником с датчиком движения

CHIP
Американская история преступления: теории заговора об убийстве Джанни Версаче Американская история преступления: теории заговора об убийстве Джанни Версаче

Как погиб Джанни Версаче?

Правила жизни
Быть в потоке Быть в потоке

Сейчас в тренде состояние ресурса и потока. Но что это такое?

Лиза
Ученые нашли эффективный способ отличать сигналы из глубин космоса от «фонового шума» Земли Ученые нашли эффективный способ отличать сигналы из глубин космоса от «фонового шума» Земли

Новый метод распознавания радиосигналов может значительно сузить поиск

ТехИнсайдер
Сериал «Медведь»: почему открытие ресторана — это полное безумие и осмысленный хаос Сериал «Медведь»: почему открытие ресторана — это полное безумие и осмысленный хаос

Сериал «Медведь»: как поддержка и любовь близких могут повлиять на бизнес

Forbes
Битый отбитого везет Битый отбитого везет

Юэль Киннаман и Николас Кейдж разыгрывают безнадежный сценарий

Weekend
Подоить козу и искупать коня: 7 мест для летнего экотуризма Подоить козу и искупать коня: 7 мест для летнего экотуризма

Куда уехать на каникулы и выходные, чтобы купать коней и научиться доить козу

СНОБ
«Лаврова не могла выбрать между Смоктуновским и Баталовым», — рассказывала подруга актрисы «Лаврова не могла выбрать между Смоктуновским и Баталовым», — рассказывала подруга актрисы

Роднило ее избранников только одно — все они были талантливы, неординарны

Коллекция. Караван историй
Когнитивная простота: откуда берется склонность к манипуляциям — интервью психолога Когнитивная простота: откуда берется склонность к манипуляциям — интервью психолога

Кто такие манипуляторы и какие люди становятся их жертвами?

Psychologies
История одной вещи: как растворимый кофе стал главным изобретением мировых войн и решил экономический кризис История одной вещи: как растворимый кофе стал главным изобретением мировых войн и решил экономический кризис

Рассказываем, как появился растворимый кофе и при чем здесь Джордж Вашингтон

Правила жизни
С дымком С дымком

Как выбрать идеальный кусок мяса и что с ним дальше делать, чтобы вышло вкусно

Лиза
Посторонним вход строго запрещен: 5 мест на земле, которые недоступны для посетителей Посторонним вход строго запрещен: 5 мест на земле, которые недоступны для посетителей

Почему эти загадочные места старательно ограждают от посетителей?

ТехИнсайдер
Коппола: как выходцы из семьи итальянских иммигрантов изменили Голливуд Коппола: как выходцы из семьи итальянских иммигрантов изменили Голливуд

Отрывок из книги «Коппола. Семья, изменившая кинематограф» Айана Натана

Forbes
«Сон — лекарство от голода»: как выживают женщины, лишенные своего дома «Сон — лекарство от голода»: как выживают женщины, лишенные своего дома

Глава из повести «Плавильная лодочка» — о судьбах женщин при депортациях

Forbes
Открыть в приложении