Как устроены малые языковые модели и в чем их преимущества перед большими?

РБКHi-Tech

SLM схватывают на лету

Как устроены малые языковые модели и в чем их преимущества перед большими моделями

Автор: Сергей Лукашкин, к. ф.-м. н., эксперт по цифровой трансформации, ранее работал в научно-образовательном центре «Цифровые технологии в образовании» ВШМ СПбГУ

Справка от ChatGPT

SLM (Small Language Model) — в сфере ИИ это языковая модель с ограниченным числом параметров, предназначенная для обработки и предсказания слов или фраз в контексте предыдущих слов. Основная цель SLM — предсказать следующее слово или последовательность слов, исходя из предыдущего контекста. Такие модели используют методы машинного обучения для анализа текста и могут быть обучены на больших корпусах данных для повышения точности предсказаний. SLM широко применяются в задачах обработки естественного языка, например в системах автозамены, автодополнения, в машинном переводе, распознавании речи и генерации текста.

Что такое SLM и LLM

Малые языковые модели, в отличие от больших языковых моделей (LLM), обученных на огромных массивах данных, используют небольшие объемы информации, но лучшего качества, поэтому работают точнее.

Четкого разделения между LLM и SLM пока что нет. Одни относят к большим языковым моделям те, что работают с 100 млн и более параметров, а к малым — от 1 млн до 10 млн. Другие называют цифры 100+ млрд и 10 млрд соответственно. Но речь идет не только о числе параметров, но и объеме данных, физических размерах и нейронной архитектуре. Если упростить, то малая языковая модель — это та, что требует в разы меньше ресурсов при обучении и анализе данных, чем большая.

Microsoft объявила SLM — малые языковые модели — одним из главных трендов 2025 года в сфере искусственного интеллекта. Изучаем, в чем отличие SLM от больших моделей LLM, как они работают и где могут использоваться

Как они работают

В отличие от универсальных LLM малые модели предназначены для решения узкоспециализированных задач, с которыми справляются заметно лучше. Чтобы извлечь максимум из меньшего набора данных, в SLM используют разные методы:

Дистилляция: когда данные от предварительно обученной LLM передаются к малой модели. Обрезка и квантизация: когда сокращают объемы представления параметров с 32 до 8 или даже 2 бит, уменьшая размеры и требования к ресурсам, а также количество ошибок.

Более эффективные архитектуры: исследователи постоянно разрабатывают новые нейронные архитектуры, предназначенные специально для SLM, чтобы оптимизировать их работу.

Чтобы научить малую модель «думать» так же хорошо, как большая, разработчики настраивают малые модели специальным образом. В итоге SLM не слепо копируют поведение LLM, а выбирают другие стратегии решения задач. Например, отвечая на объемный вопрос, они сначала разбивают его на части и решают пошагово, а не целиком. Это помогает экономить ресурсы и получать такие же точные результаты.

В чем главные плюсы

Исследования показывают, что у SLM перед LLM по крайней мере несколько важных преимуществ:

Экономичность. Обучение LLM требует колоссальных затрат: на одну модель уходит в среднем от $9 млн до $23 млн, а модели вроде GPT-3 расходуют до 1,3 тыс. МВт/ч — это как если бы вы смотрели Netflix 1,6 млн часов. В основе больших моделей — архитектура Transformer, которая по мере увеличения данных требует все больше памяти и вычислительных мощностей. SLM потребляют гораздо меньше памяти и других ресурсов, что делает их более доступными. К примеру, чтобы обучить PaLM от Google, потребовалось больше 6 тыс. супермощных чипов TPU v4, тогда как для обучения малой модели OPT от Meta (признана экстремистской организацией на территории РФ) AI понадобилось всего 992 графических процессора Nvidia A100 по 80 Гб каждый. Для малых моделей достаточно оперативной памяти в 16 Гб или меньше, если речь идет о мобильных версиях.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

6 причин, по которым белое вино стало мировым трендом 6 причин, по которым белое вино стало мировым трендом

Разбираемся в причинах «белого разворота» в мире вина

РБК
Любовь к животным и санкции Любовь к животным и санкции

Почему рынок кормов — перспективное направление для инвестиций

Агроинвестор
Насколько безопасно использование интернет-банкинга? Насколько безопасно использование интернет-банкинга?

Что такое интернет-бакинг и надежен ли он?

Наука и техника
0,06 га счастья 0,06 га счастья

Когда в России появилось такое явление, как дача

КАНТРИ Русская азбука
Верни мой каменный топор Верни мой каменный топор

Вновь изобрести технологии каменного века занимательно, но зачем это нужно?

Вокруг света
Почему машина заводится и глохнет и что с этим делать Почему машина заводится и глохнет и что с этим делать

Что делать, если машина глохнет: причины, диагностика, куда смотреть

РБК
«Нет удержу!» Чем улыбнул первый тест-драйв «ушастого Запорожца», проведенный советским журналистом «Нет удержу!» Чем улыбнул первый тест-драйв «ушастого Запорожца», проведенный советским журналистом

«Ушастый Запорожец» — тесный, шумный, тихоходный или совсем иной?

ТехИнсайдер
Переходим на летнее время Переходим на летнее время

7 актуальных задач, которые легче решить под ярким солнцем

Лиза
Компьютерное зрение: когда роботы перестали тыкать пальцем в небо? Компьютерное зрение: когда роботы перестали тыкать пальцем в небо?

Зачем нужно компьютерное зрение и какие задачи оно решает в разных сферах

Наука и техника
Финкульт-привет Финкульт-привет

Низкая финграмотность — вызов не только для клиентов, но и для банков

Ведомости
Любовь, сбивающая с ног: 10 культовых фильмов про свадьбы Любовь, сбивающая с ног: 10 культовых фильмов про свадьбы

Фильмы о свадьбе, которые заставят вас смеяться и плакать

Правила жизни
Развод и утрата: как справиться с последствиями Развод и утрата: как справиться с последствиями

Как утрата влияет на наше психологическое состояние?

VOICE
Группы, в которых не менялся состав. Никогда Группы, в которых не менялся состав. Никогда

Группы, в которых состав отличается своей стабильностью

Maxim
Самоубийство семьи бургомистра Самоубийство семьи бургомистра

«Кризис закончен. Орудия затихли. Кто знал, как нам стоит поступить?»

Дилетант
Переславская флотилия Переславская флотилия

Переславль-Залесский: город на Золотом кольце, где хочется остановиться

Отдых в России
6 бытовых привычек, из-за которых в доме плохо пахнет 6 бытовых привычек, из-за которых в доме плохо пахнет

Некоторые из этих вещей вы совершаете ежедневно, а они влияют на запах в доме

ТехИнсайдер
Нефтяная кубышка: за и против Нефтяная кубышка: за и против

Нужен ли России стратегический запас нефти?

Монокль
Перспективы энергоскладов: как мы будем хранить электричество Перспективы энергоскладов: как мы будем хранить электричество

Какие надежные способы аккумулировать значительные объемы энергии существуют?

Монокль
Уголь в цене Уголь в цене

Что происходит с ценами на уголь и что на них влияет

Ведомости
Экологическая модернизация Экологическая модернизация

Как разные страны переосмысливают управление органическими отходами

Агроинвестор
Хитовая история Хитовая история

Факты о песнях, которые в свое время возглавляли всевозможные чарты

ЖАРА Magazine
Польский узел Польский узел

В 1980 году ситуация в Польше складывалась непростая...

Дилетант
Новый состав группы SEREBRO: «С Фадеевым мы чувствуем себя в безопасности» Новый состав группы SEREBRO: «С Фадеевым мы чувствуем себя в безопасности»

Группа SEREBRO об амбициях и музыкальных экспериментах

ЖАРА Magazine
Жизнь за стеной Жизнь за стеной

Фильм про страну, в которой тотальный контроль стал религией

Дилетант
«Мадагаскару» — 20! Как создавалась мультфраншиза, заработавшая миллиарды и разлетевшаяся на мемы «Мадагаскару» — 20! Как создавалась мультфраншиза, заработавшая миллиарды и разлетевшаяся на мемы

«Мадагаскар»: след в истории и головокружительный успех

Правила жизни
Катай на здоровье Катай на здоровье

Как укрепить мышцы кора и натренировать стабилизацию

ЖАРА Magazine
«Любая цифровизация должна сопровождаться стратегией по кибербезопасности» «Любая цифровизация должна сопровождаться стратегией по кибербезопасности»

Почему одни компании видят отдачу от внедрения цифровых решений, а другие нет?

Ведомости
Токари без кодеров Токари без кодеров

Каких айтишников не хватает промышленности России?

Ведомости
«Послы Ермака у Красного крыльца перед царём Иоанном Грозным» «Послы Ермака у Красного крыльца перед царём Иоанном Грозным»

Настоящее покорение земель Сибири началось в 1580-х годах

Дилетант
Горят ли окна в министерстве обороны? Горят ли окна в министерстве обороны?

Чем так напугали Кремль «американские военные планы»?

Дилетант
Открыть в приложении