Из чего состоят разговорные боты и чего ждать от многообещающих новинок?

ForbesБизнес

Бот знает: как устроены языковые модели и к чему ведет конкуренция на этом рынке

Татьяна Шаврина

Фото Belga / Reuters

ChatGPT стал самым быстрорастущим потребительским приложением в истории: всего через два месяца после запуска месячное количество активных пользователей бота достигло 100 млн человек. 6 февраля сразу две корпорации объявили о скором запуске собственных аналогов: Google анонсировала экспериментальный сервис разговорного ИИ Bard, а акции китайской Baidu выросли после заявления о релизе разработки под названием ERNIE. Кандидат наук, руководитель научной группы NLP Института искусственного интеллекта AIRI и команды AGI NLP SberDevices Татьяна Шаврина объясняет, из чего состоят разговорные боты, чего ждать от многообещающих новинок и какое влияние они окажут на общество.

Большие языковые модели (LLM, Large Language Models)

Несмотря на взрывную популярность ChatGPT и гонку корпораций, языковые модели — далеко не новое явление. LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии. Такие нейросети находятся внутри продвинутых ИИ-ассистентов, позволяя нам общаться с машиной.

Большими языковые модели называются потому, что, помимо массивного объема прочитанного, сами по себе являются масштабными системами. Профессионалы определяют размер моделей в параметрах — коэффициентах функций внутри модели, подобранных во время обучения нейросети: число параметров нейросети GPT-3 — 175 млрд, но бывают LLM и больше! Как правило, чем больше параметров у нейросети, тем лучше она обобщает навыки и знания. В случае с СhatGPT — это навык понимать человеческие инструкции в режиме диалога и выдавать качественный и интересный ответ.

LLM добились успеха в ряде задач: они отвечают на вопросы, могут обобщить или переписать текст, написать стихотворение и вести диалог. Пожалуй, в 2022 году именно переход самых новых нейросетей в режим диалога с пользователем позволил моделям стать интересными не только для ученых и разработчиков.

Максимально правдоподобное и безопасное моделирование общения на человеческом языке — вызов для исследователей. Среди основных проблем в работе с LLM профессор Стэнфордского университета Кристофер Поттс выделяет сложность обновления базы фактов, на которых обучена модель, и отсутствие ссылок на источники.

А еще у LLM есть «дети» — так называемые дообученные модели (fine-tuned models). На базе общетематических моделей создается копия, которую «натаскивают» на специфический домен или задачу, например, анализ медицинских исследований или поиск ошибок в коде. Процесс такого дообучения нейросетей называют «тюнинг».

Какие модели существуют уже сейчас

ChatGPT — самая популярная демонстрация большой языковой модели, которая стала открытой для рядового пользователя сети через простой интерфейс. Однако такое решение — не единственное. В мире существует ряд других LLM, часть из которых давно выложена в открытый доступ. Их изучают, развивают и применяют для решения своих задач сотни программистов и ученых, а некоторые стартапы строят на их базе собственные продукты:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ловушки для трендов: как вовремя услышать сигналы рынка Ловушки для трендов: как вовремя услышать сигналы рынка

Как бизнесменам научиться самим улавливать тренд-сигналы

Forbes
От неудачных переговоров до гибели «Варяга» и «Петропавловска»: как началась война, которую в России никто не понимал От неудачных переговоров до гибели «Варяга» и «Петропавловска»: как началась война, которую в России никто не понимал

Война, которая не принесла России ни одной победы и породила революцию 1905 года

Вокруг света
Голодные игры: как российским компаниям выжить в борьбе за последних специалистов Голодные игры: как российским компаниям выжить в борьбе за последних специалистов

Как радикально повысить производительности труда?

Forbes
Почему мужчины не любят говорить о своих чувствах? Почему мужчины не любят говорить о своих чувствах?

Как избавить партнера от страха признаваться в чувствах?

Psychologies
Схватить, покрутить и нести на анализы: что делать, если укусил клещ Схватить, покрутить и нести на анализы: что делать, если укусил клещ

Как защищаться от клещей, и что делать, если паразит все-таки укусил

Forbes
«Я рано узнала, что такое богатство и бедность»: история одного детства в 1990-е «Я рано узнала, что такое богатство и бедность»: история одного детства в 1990-е

История читательницы, которая отражает целый пласт истории 1990-х

Psychologies
Чистая монета Чистая монета

Что если инвестировать в деньги? Хорошая идея, если речь о коллекционных монетах

Robb Report
«Я уже не маленький»: как отношения с родителями мешают нам быть уверенными «Я уже не маленький»: как отношения с родителями мешают нам быть уверенными

Как справиться с беззащитностью в себе и найти ресурсы действовать как взрослый?

Psychologies
6 мужских привычек, которые сильнее всего раздражают женщин 6 мужских привычек, которые сильнее всего раздражают женщин

«Инцидент исперчен, любовная лодка разбилась о быт»

Maxim
Свои люди: как мы понимаем, кому доверять, — принципы распознавания Свои люди: как мы понимаем, кому доверять, — принципы распознавания

Как у людей работает система опознавания «свой — чужой»

Psychologies
«Играю не только сильных героинь»: Александра Бортич о сериале «Фишер» и новых ролях «Играю не только сильных героинь»: Александра Бортич о сериале «Фишер» и новых ролях

Александра Бортич — про уместность мрачного кино в современных реалиях

Forbes
Новый вид “американского морского черта” заметили в Атлантике. Рыба с Новый вид “американского морского черта” заметили в Атлантике. Рыба с

Неизвестный представитель и без того непростого вида рыб

ТехИнсайдер
Парижанки уже не ориентир: на кого теперь равняются девушки с чувством стиля Парижанки уже не ориентир: на кого теперь равняются девушки с чувством стиля

Трендсеттеры нового поколения постепенно перебираются в Копенгаген

VOICE
Королевство кривых зеркал Королевство кривых зеркал

Когда недовольство внешностью пора лечить

VOICE
Вячеслав Малафеев: «Бывает, что перебарщиваю, но вообще я не буйный!» Вячеслав Малафеев: «Бывает, что перебарщиваю, но вообще я не буйный!»

Легендарный вратарь Вячеслав Малафеев — об отдыхе, семье и работе

Maxim
Ум за разум Ум за разум

ChatGPT: искусственный интеллект, который пошел в народ

Автопилот
Что такое галлюцинации, при чем тут шизофрения и всегда ли опасны голоса в голове: объясняет психиатр Что такое галлюцинации, при чем тут шизофрения и всегда ли опасны голоса в голове: объясняет психиатр

Как рождаются галлюцинации и чем отличаются от иллюзий?

Psychologies
Дада-люди Дада-люди

Как The Yes Men превратили фейк в искусство

Weekend
Что известно о новом креативном директоре Louis Vuitton Фаррелле Уильямсе Что известно о новом креативном директоре Louis Vuitton Фаррелле Уильямсе

Какие модные проекты запускал Фаррелл Уильямс параллельно с музыкальной карьерой

СНОБ
Лечение пустотой: как работает плацебо и что о нем думает современная медицина Лечение пустотой: как работает плацебо и что о нем думает современная медицина

Как устроен эффект плацебо и на что способно человеческое воображение

Forbes
Железные аргументы ISUZU D-Max Железные аргументы ISUZU D-Max

ISUZU D-Max — комфортный пикап, рассчитанный на тяжелые грузы

4x4 Club
«Спасибо смерти…» «Спасибо смерти…»

Какой была Эльза Триоле, младшая сестра Лили Брик?

Дилетант
5 новых ярких имен научной фантастики, о которых ты, скорее всего, не слышал 5 новых ярких имен научной фантастики, о которых ты, скорее всего, не слышал

В любом направлении литературы регулярно появляются новые примечательные авторы.

Maxim
Как вести интимный дневник: 6 главных принципов — улучшите сексуальную жизнь Как вести интимный дневник: 6 главных принципов — улучшите сексуальную жизнь

Ведение интимного дневника — способ изучить нашу сексуальную жизнь

Psychologies
Закрытый клуб гениев: почему гендерное неравенство в математике так сложно преодолеть Закрытый клуб гениев: почему гендерное неравенство в математике так сложно преодолеть

Неравенство в точных науках обсуждается давно. Ситуация меняется, но медленно

Forbes
Неожиданный поворот: уверены6 вы понятия не имели, что происходит с вашим котом после очередной дозы валерьянки Неожиданный поворот: уверены6 вы понятия не имели, что происходит с вашим котом после очередной дозы валерьянки

Как валерьянка влияет на кошек?

ТехИнсайдер
Вода, отруби и ягоды: 5 продуктов для идеальной работы кишечника — советы врача Вода, отруби и ягоды: 5 продуктов для идеальной работы кишечника — советы врача

Что поможет улучшить пищеварение?

Psychologies
За что Ту-104 назвали самым опасным лайнером в мире За что Ту-104 назвали самым опасным лайнером в мире

Что не так с Ту-104?

ТехИнсайдер
Какие наши годы Какие наши годы

Вычисляем свой морфотип и принимаем меры по удержанию «ускользающей красоты»

Добрые советы
Керамический материал с изменяемой теплопроводностью: революционное открытие Керамический материал с изменяемой теплопроводностью: революционное открытие

Как обычный керамический материал может изменить свою теплопроводность

ТехИнсайдер
Открыть в приложении