Из чего состоят разговорные боты и чего ждать от многообещающих новинок?

ForbesБизнес

Бот знает: как устроены языковые модели и к чему ведет конкуренция на этом рынке

Татьяна Шаврина

Фото Belga / Reuters

ChatGPT стал самым быстрорастущим потребительским приложением в истории: всего через два месяца после запуска месячное количество активных пользователей бота достигло 100 млн человек. 6 февраля сразу две корпорации объявили о скором запуске собственных аналогов: Google анонсировала экспериментальный сервис разговорного ИИ Bard, а акции китайской Baidu выросли после заявления о релизе разработки под названием ERNIE. Кандидат наук, руководитель научной группы NLP Института искусственного интеллекта AIRI и команды AGI NLP SberDevices Татьяна Шаврина объясняет, из чего состоят разговорные боты, чего ждать от многообещающих новинок и какое влияние они окажут на общество.

Большие языковые модели (LLM, Large Language Models)

Несмотря на взрывную популярность ChatGPT и гонку корпораций, языковые модели — далеко не новое явление. LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии. Такие нейросети находятся внутри продвинутых ИИ-ассистентов, позволяя нам общаться с машиной.

Большими языковые модели называются потому, что, помимо массивного объема прочитанного, сами по себе являются масштабными системами. Профессионалы определяют размер моделей в параметрах — коэффициентах функций внутри модели, подобранных во время обучения нейросети: число параметров нейросети GPT-3 — 175 млрд, но бывают LLM и больше! Как правило, чем больше параметров у нейросети, тем лучше она обобщает навыки и знания. В случае с СhatGPT — это навык понимать человеческие инструкции в режиме диалога и выдавать качественный и интересный ответ.

LLM добились успеха в ряде задач: они отвечают на вопросы, могут обобщить или переписать текст, написать стихотворение и вести диалог. Пожалуй, в 2022 году именно переход самых новых нейросетей в режим диалога с пользователем позволил моделям стать интересными не только для ученых и разработчиков.

Максимально правдоподобное и безопасное моделирование общения на человеческом языке — вызов для исследователей. Среди основных проблем в работе с LLM профессор Стэнфордского университета Кристофер Поттс выделяет сложность обновления базы фактов, на которых обучена модель, и отсутствие ссылок на источники.

А еще у LLM есть «дети» — так называемые дообученные модели (fine-tuned models). На базе общетематических моделей создается копия, которую «натаскивают» на специфический домен или задачу, например, анализ медицинских исследований или поиск ошибок в коде. Процесс такого дообучения нейросетей называют «тюнинг».

Какие модели существуют уже сейчас

ChatGPT — самая популярная демонстрация большой языковой модели, которая стала открытой для рядового пользователя сети через простой интерфейс. Однако такое решение — не единственное. В мире существует ряд других LLM, часть из которых давно выложена в открытый доступ. Их изучают, развивают и применяют для решения своих задач сотни программистов и ученых, а некоторые стартапы строят на их базе собственные продукты:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

От Хичкока до Финчера: главные фильмы про маньяков в истории кино От Хичкока до Финчера: главные фильмы про маньяков в истории кино

Лучшие фильмы о маньяках: с высоким рейтингом и наиболее оригинальной концепцией

Forbes
В гуще псевдособытий В гуще псевдособытий

Как мокьюментари превращается в мокьюреалити

Weekend
Управление клубом: искусство балансировать между хаосом и порядком Управление клубом: искусство балансировать между хаосом и порядком

Егор Турчинский, Кирилл Павлов: можно ли сегодня зарабатывать на клубном бизнесе

Forbes
Пять cамых громких терактов, за которые никто не взял ответственность Пять cамых громких терактов, за которые никто не взял ответственность

Последние четверть века теракты все чаще совершают анонимные группы

Maxim
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Уютное гнездышко походника: история и современность спального мешка Уютное гнездышко походника: история и современность спального мешка

Привычный нам облик спальный мешок приобрел не сразу

Вокруг света
«Я пережила Холокост ребенком»: настоящая история узницы Освенцима «Я пережила Холокост ребенком»: настоящая история узницы Освенцима

«Дочь Аушвица»: жизнь ребенка, которому приходится постоянно прятаться

Forbes
Эти продукты повышают уровень сахара в крови — исключите их из своего рациона, если хотите сохранить здоровье! Эти продукты повышают уровень сахара в крови — исключите их из своего рациона, если хотите сохранить здоровье!

На уровень сахара в крови влияют не только сладости

ТехИнсайдер
Как устроена нелегальная жизнь бедных людей в Лондоне. Интересные факты и фотографии Как устроена нелегальная жизнь бедных людей в Лондоне. Интересные факты и фотографии

Как устроен быт людей, которые живут в «сквотах»?

ТехИнсайдер
Расписание на день: 6 расслабляющих упражнений — попробуйте сегодня Расписание на день: 6 расслабляющих упражнений — попробуйте сегодня

Упражнения, которые помогут снять усталость в течение дня

Psychologies
Как выбрать матрас для секса Как выбрать матрас для секса

Насколько ваша кровать подходит для секса?

Maxim
Интервальное голодание: все, что нужно знать об одном из самых популярных режимов питания последних лет Интервальное голодание: все, что нужно знать об одном из самых популярных режимов питания последних лет

Многие, сами того не подозревая, иногда прибегают к интервальному голоданию

Правила жизни
Праздники подошли к концу: главная ошибка первой рабочей недели — проверьте себя Праздники подошли к концу: главная ошибка первой рабочей недели — проверьте себя

Как настроиться на работу после праздников?

Psychologies
Повелители молний: как управлять небесным электричеством с помощью лазера Повелители молний: как управлять небесным электричеством с помощью лазера

Физики впервые вызвали искусственный разряд молнии с помощью лазерного луча

Forbes
Преодоление раскисшего просёлка. Полезные советы Преодоление раскисшего просёлка. Полезные советы

Как правильно использовать рисунок протектора грязевой резины

4x4 Club
Как справиться с депрессией? Ученые дали необычный ответ! Как справиться с депрессией? Ученые дали необычный ответ!

Страдающие от депрессии люди могут помочь себе неочевидным способом

ТехИнсайдер
Еда Еда

Фудмолл Vokzal 1853 — новая достопримечательность Петербурга

Собака.ru
Как правильно почистить организм после праздников Как правильно почистить организм после праздников

Узнай, как вернуться в строй после длинных выходных и не навредить самому себе

Maxim
Частое замерзание ног может сигнализировать о серьезных проблемах со здоровьем Частое замерзание ног может сигнализировать о серьезных проблемах со здоровьем

Вы постоянно чувствуете холод в ногах? Это может указывать на серьезные проблемы

ТехИнсайдер
Как раскрыть свое женское предназначение: 5 самых простых и рабочих приемов Как раскрыть свое женское предназначение: 5 самых простых и рабочих приемов

Как женщине узнать, для чего она на самом деле предназначена?

VOICE
Однажды Джима Моррисона арестовали за показ гениталий и Однажды Джима Моррисона арестовали за показ гениталий и

Музыка часто требует от артистов достаточно высокого уровня раскрепощения

ТехИнсайдер
Сильная и созависимая женщина. Почему алкоголизм мужа всегда сигнализирует о созависимости у жены Сильная и созависимая женщина. Почему алкоголизм мужа всегда сигнализирует о созависимости у жены

История героини, которая лечится от созависимости и комментарий психолога

СНОБ
Все кончено Все кончено

Секс как средство от тревоги

СНОБ
10 лет спустя: как изменились актеры сериала «Молодежка» с первых серий 10 лет спустя: как изменились актеры сериала «Молодежка» с первых серий

Сегодня мы расскажем, как изменились главные герои сериала «Молодежка»

VOICE
Ла Монстра: как девочка весом 70 килограммов превратилась в живую игрушку для испанского короля Карла II Ла Монстра: как девочка весом 70 килограммов превратилась в живую игрушку для испанского короля Карла II

Каково это весить 70 килограммов, когда тебе всего шесть лет?

ТехИнсайдер
Бактерия размером с муху и марсианская магма: чем удивила наука в 2022 году Бактерия размером с муху и марсианская магма: чем удивила наука в 2022 году

Научный обозреватель Анатолий Глянцев рассказывает о главных событиях 2022 года

Forbes
Пилатес для начинающих Пилатес для начинающих

Пилатесом довольно легко заниматься, не выходя из дома

Лиза
Страшная трагедия СССР: тайна крушения парохода «Адмирал Нахимов», в котором погибло почти 500 человек Страшная трагедия СССР: тайна крушения парохода «Адмирал Нахимов», в котором погибло почти 500 человек

31 августа 1986 года в акватории Новороссийской бухты столкнулись два судна

ТехИнсайдер
Не бро ты мне: что делать, если тебе не нравятся его друзья Не бро ты мне: что делать, если тебе не нравятся его друзья

Как научиться принимать и уважать друзей своего партнера

VOICE
Настроить четкость Настроить четкость

Можно ли исправить астигматизм и вернуть зрению остроту

Лиза
Открыть в приложении