Из чего состоят разговорные боты и чего ждать от многообещающих новинок?

ForbesБизнес

Бот знает: как устроены языковые модели и к чему ведет конкуренция на этом рынке

Татьяна Шаврина

Фото Belga / Reuters

ChatGPT стал самым быстрорастущим потребительским приложением в истории: всего через два месяца после запуска месячное количество активных пользователей бота достигло 100 млн человек. 6 февраля сразу две корпорации объявили о скором запуске собственных аналогов: Google анонсировала экспериментальный сервис разговорного ИИ Bard, а акции китайской Baidu выросли после заявления о релизе разработки под названием ERNIE. Кандидат наук, руководитель научной группы NLP Института искусственного интеллекта AIRI и команды AGI NLP SberDevices Татьяна Шаврина объясняет, из чего состоят разговорные боты, чего ждать от многообещающих новинок и какое влияние они окажут на общество.

Большие языковые модели (LLM, Large Language Models)

Несмотря на взрывную популярность ChatGPT и гонку корпораций, языковые модели — далеко не новое явление. LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии. Такие нейросети находятся внутри продвинутых ИИ-ассистентов, позволяя нам общаться с машиной.

Большими языковые модели называются потому, что, помимо массивного объема прочитанного, сами по себе являются масштабными системами. Профессионалы определяют размер моделей в параметрах — коэффициентах функций внутри модели, подобранных во время обучения нейросети: число параметров нейросети GPT-3 — 175 млрд, но бывают LLM и больше! Как правило, чем больше параметров у нейросети, тем лучше она обобщает навыки и знания. В случае с СhatGPT — это навык понимать человеческие инструкции в режиме диалога и выдавать качественный и интересный ответ.

LLM добились успеха в ряде задач: они отвечают на вопросы, могут обобщить или переписать текст, написать стихотворение и вести диалог. Пожалуй, в 2022 году именно переход самых новых нейросетей в режим диалога с пользователем позволил моделям стать интересными не только для ученых и разработчиков.

Максимально правдоподобное и безопасное моделирование общения на человеческом языке — вызов для исследователей. Среди основных проблем в работе с LLM профессор Стэнфордского университета Кристофер Поттс выделяет сложность обновления базы фактов, на которых обучена модель, и отсутствие ссылок на источники.

А еще у LLM есть «дети» — так называемые дообученные модели (fine-tuned models). На базе общетематических моделей создается копия, которую «натаскивают» на специфический домен или задачу, например, анализ медицинских исследований или поиск ошибок в коде. Процесс такого дообучения нейросетей называют «тюнинг».

Какие модели существуют уже сейчас

ChatGPT — самая популярная демонстрация большой языковой модели, которая стала открытой для рядового пользователя сети через простой интерфейс. Однако такое решение — не единственное. В мире существует ряд других LLM, часть из которых давно выложена в открытый доступ. Их изучают, развивают и применяют для решения своих задач сотни программистов и ученых, а некоторые стартапы строят на их базе собственные продукты:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

На работу в худи: как настроить работу с зумерами в компании На работу в худи: как настроить работу с зумерами в компании

Как правильно организовать работу с молодыми специалистами

Forbes
7 продуктов, которые поддержат силы в пост 7 продуктов, которые поддержат силы в пост

Какие продукты помогут не испытывать голод и усталость в пост?

РБК
Джуны нужны: неочевидные преимущества молодых айтишников и почему их не заменит ИИ Джуны нужны: неочевидные преимущества молодых айтишников и почему их не заменит ИИ

Работодателям имеет смысл вкладываться в развитие начинающих IT-специалистов

Inc.
Чипсы, пожарские котлеты и даже оливье: 9 продуктов, которые появились в нашей жизни по ошибке Чипсы, пожарские котлеты и даже оливье: 9 продуктов, которые появились в нашей жизни по ошибке

Мы могли бы и не узнать вкус этих любимых нами продуктов

VOICE
Лидерство в коллективе: как завоевать авторитет и доверие в группе? Лидерство в коллективе: как завоевать авторитет и доверие в группе?

Какие лидерские качества стоит развивать, чтобы завоевать доверие в группе

Psychologies
Обман дара Обман дара

Как возникла самая знаменитая фальшивка Средневековья

Weekend
Бойцовский дух: как российские аукционы перебрались из залов в онлайн Бойцовский дух: как российские аукционы перебрались из залов в онлайн

Как онлайн-аукционы стали ведущей площадкой продажи искусства в России

Forbes
Поговори мне тут: как происходит революция в мире ИИ Поговори мне тут: как происходит революция в мире ИИ

Почему нейросети стали походить на людей?

РБК
Почему киты иногда взрываются после смерти? Почему киты иногда взрываются после смерти?

Что происходит с телом кита после того, как животное умирает?

ТехИнсайдер
Этот рэпер убил свою соседку, а потом съел ее легкое. История музыкального каннибала Этот рэпер убил свою соседку, а потом съел ее легкое. История музыкального каннибала

Рэпер с никнеймом Big Lurch мог бы стать одним из самых громких имен в хип-хопе

ТехИнсайдер
«Надейся на все, не ожидай ничего»: рецепт идеальной жизни — 42 совета «Надейся на все, не ожидай ничего»: рецепт идеальной жизни — 42 совета

Делимся простыми и универсальными советами, которые сделают вашу жизнь лучше

Psychologies
Место для мечты Место для мечты

Самый ценный подарок, который вы можете себе сделать — взять и осуществить мечту

Men Today
На тёмной стороне искусства На тёмной стороне искусства

На коллекционерах то и дело наживаются всякого рода жулики, мошенники и воры

Robb Report
Когда пора обратиться к сексологу: 3 повода — проверьте вашу пару Когда пора обратиться к сексологу: 3 повода — проверьте вашу пару

Семейный психотерапевт называет три повода задуматься о визите к сексологу

Psychologies
20 реальных сокровищ, которые не найдут даже Индиана Джонс с Ларой Крофт 20 реальных сокровищ, которые не найдут даже Индиана Джонс с Ларой Крофт

Показываем бесценные артефакты человечества, которые считаются утерянными

Maxim
Что такое дефицитное состояние и как его преодолеть. Комментарий эксперта Что такое дефицитное состояние и как его преодолеть. Комментарий эксперта

В чем опасность дефицитов полезных веществ в организме?

РБК
На Сатурне сезон спиц: что это за явление и при чем здесь времена года? На Сатурне сезон спиц: что это за явление и при чем здесь времена года?

Астрономы ждут сатурнианского равноденствия, чтобы оценить спицы во всей красе

Вокруг света
Русский Кортес Русский Кортес

Как проходил сибирский поход Ермака

Дилетант
Важен процесс Важен процесс

Чего достиг и чего не смог достичь Нюрнбергский процесс

Weekend
Ирина Шевчук: «Судьба нам подарила фильм «...А зори здесь тихие» Ирина Шевчук: «Судьба нам подарила фильм «...А зори здесь тихие»

Ко мне подошла женщина и спросила: «Риточка, скажите, а как ваш сын сейчас?»

Караван историй
Дом — полная чаша: как образ домохозяйки менялся в кино и в итоге пришел в TikTok Дом — полная чаша: как образ домохозяйки менялся в кино и в итоге пришел в TikTok

Как образ домохозяйки менялся на экране и почему не выдержал проверку временем

Forbes
Любовь по расчёту Любовь по расчёту

Инвестиции в искусство — одна из возможностей диверсифицировать свой портфель

Robb Report
Малоизвестные сериалы, которые не сдуваются до последнего сезона Малоизвестные сериалы, которые не сдуваются до последнего сезона

Лучшие сериалы на тот случай, если у тебя появилось много свободного времени

Maxim
В Польше нашли покрытое дегтем составное орудие возрастом десять тысяч лет В Польше нашли покрытое дегтем составное орудие возрастом десять тысяч лет

Археологи представили результаты исследования составного орудия эпохи мезолита

N+1
Худой мир Худой мир

Переговоры сопровождались драматическими, а временами и курьезными эпизодами

Вокруг света
Со всех концов света: стало известно, откуда египтяне получали вещества для создания мумий Со всех концов света: стало известно, откуда египтяне получали вещества для создания мумий

Чтобы жрецы могли бальзамировать тела, требовались долгие и опасные путешествия

Вокруг света
Consumer Reports утверждает, что BMW делает лучшие автомобили, а Land Rover – худшие Consumer Reports утверждает, что BMW делает лучшие автомобили, а Land Rover – худшие

Оценки дорожных испытаний и надёжности автомобилей лучших брендов

4x4 Club
Что известно о видеоигре Atomic Heart Что известно о видеоигре Atomic Heart

Что собой представляет альтернативный мир 1950-х годов в Atomic Heart?

СНОБ
Поход за соболем Поход за соболем

По одной из версий, ради соболя наши предки покорили Сибирь

Дилетант
Почему спать днем полезно: 2 главные причины — узнайте, как делать это правильно Почему спать днем полезно: 2 главные причины — узнайте, как делать это правильно

Зачем спать днем?

Psychologies
Открыть в приложении