Из чего состоят разговорные боты и чего ждать от многообещающих новинок?

ForbesБизнес

Бот знает: как устроены языковые модели и к чему ведет конкуренция на этом рынке

Татьяна Шаврина

Фото Belga / Reuters

ChatGPT стал самым быстрорастущим потребительским приложением в истории: всего через два месяца после запуска месячное количество активных пользователей бота достигло 100 млн человек. 6 февраля сразу две корпорации объявили о скором запуске собственных аналогов: Google анонсировала экспериментальный сервис разговорного ИИ Bard, а акции китайской Baidu выросли после заявления о релизе разработки под названием ERNIE. Кандидат наук, руководитель научной группы NLP Института искусственного интеллекта AIRI и команды AGI NLP SberDevices Татьяна Шаврина объясняет, из чего состоят разговорные боты, чего ждать от многообещающих новинок и какое влияние они окажут на общество.

Большие языковые модели (LLM, Large Language Models)

Несмотря на взрывную популярность ChatGPT и гонку корпораций, языковые модели — далеко не новое явление. LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии. Такие нейросети находятся внутри продвинутых ИИ-ассистентов, позволяя нам общаться с машиной.

Большими языковые модели называются потому, что, помимо массивного объема прочитанного, сами по себе являются масштабными системами. Профессионалы определяют размер моделей в параметрах — коэффициентах функций внутри модели, подобранных во время обучения нейросети: число параметров нейросети GPT-3 — 175 млрд, но бывают LLM и больше! Как правило, чем больше параметров у нейросети, тем лучше она обобщает навыки и знания. В случае с СhatGPT — это навык понимать человеческие инструкции в режиме диалога и выдавать качественный и интересный ответ.

LLM добились успеха в ряде задач: они отвечают на вопросы, могут обобщить или переписать текст, написать стихотворение и вести диалог. Пожалуй, в 2022 году именно переход самых новых нейросетей в режим диалога с пользователем позволил моделям стать интересными не только для ученых и разработчиков.

Максимально правдоподобное и безопасное моделирование общения на человеческом языке — вызов для исследователей. Среди основных проблем в работе с LLM профессор Стэнфордского университета Кристофер Поттс выделяет сложность обновления базы фактов, на которых обучена модель, и отсутствие ссылок на источники.

А еще у LLM есть «дети» — так называемые дообученные модели (fine-tuned models). На базе общетематических моделей создается копия, которую «натаскивают» на специфический домен или задачу, например, анализ медицинских исследований или поиск ошибок в коде. Процесс такого дообучения нейросетей называют «тюнинг».

Какие модели существуют уже сейчас

ChatGPT — самая популярная демонстрация большой языковой модели, которая стала открытой для рядового пользователя сети через простой интерфейс. Однако такое решение — не единственное. В мире существует ряд других LLM, часть из которых давно выложена в открытый доступ. Их изучают, развивают и применяют для решения своих задач сотни программистов и ученых, а некоторые стартапы строят на их базе собственные продукты:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мягкая сила: как бывшие спецназовцы развивают региональную сеть фитнес-студий Мягкая сила: как бывшие спецназовцы развивают региональную сеть фитнес-студий

Как армейские друзья создали сеть студий «мягкого» фитнеса

Forbes
«Империя света» Сэма Мендеса — главный кинопровал 2023 года. Как так вышло? «Империя света» Сэма Мендеса — главный кинопровал 2023 года. Как так вышло?

«Империя света» — ретро-мелодрама, ставшая не событием, а разочарованием

Правила жизни
Как основатели УГМК заработали в Верхней Пышме миллиарды долларов Как основатели УГМК заработали в Верхней Пышме миллиарды долларов

Как основатели УГМК создали бизнес-империю в Верхней Пышме

Forbes
Назад в будущее: краткая история японского бренда уличной одежды BAPE, который любят Фаррел Уильямс, Канье Уэст и Дрейк Назад в будущее: краткая история японского бренда уличной одежды BAPE, который любят Фаррел Уильямс, Канье Уэст и Дрейк

Рассказываем историю бренда A Bathing Ape

Правила жизни
Укус осы: правила первой помощи и 8 советов, как его избежать Укус осы: правила первой помощи и 8 советов, как его избежать

Большой угрозы укус осы не представляет, но есть исключения

РБК
Школа Будущего Школа Будущего

Есть ли в Школе Будущего место для развития soft skills?

Позитивные изменения
Трогали за лобок и обсуждали упругость груди: волгоградская журналистка пожаловалась на харассмент Трогали за лобок и обсуждали упругость груди: волгоградская журналистка пожаловалась на харассмент

Почему в нашем обществе все еще немало мизогинии, сексизма и виктиблейминга?

Maxim
В средневековых останках из Дании нашли ДНК чумной палочки В средневековых останках из Дании нашли ДНК чумной палочки

Ученые обнаружили 13 случаев заражения чумной палочкой в средневековой Дании

N+1
Разрешать ли 9-летнему ребенку спать с родителями? Или пора взрослеть? Мнение Разрешать ли 9-летнему ребенку спать с родителями? Или пора взрослеть? Мнение

Можно ли делать исключения при воспитании детей?

ТехИнсайдер
Как научиться любить себя: лучшие книги для саморазвития Как научиться любить себя: лучшие книги для саморазвития

Книги, которые помогут открыть себя заново

ТехИнсайдер
Из мужской в женскую: 8 фактов о юбке, которые должны знать все, кто ее носит Из мужской в женскую: 8 фактов о юбке, которые должны знать все, кто ее носит

Краткая история юбки от древности до наших дней

Вокруг света
«Мне все равно»: 3 фразы, которые нельзя говорить партнеру, — мнение психоаналитика «Мне все равно»: 3 фразы, которые нельзя говорить партнеру, — мнение психоаналитика

Некоторые фразы могут быть не так безобидны, как кажется

Psychologies
Пополнившийся Пополнившийся

Exeed LX получил привод на все колеса

Автопилот
10 фактов, которые притворяются мифами (и наоборот) о «зеленой фее» — абсенте 10 фактов, которые притворяются мифами (и наоборот) о «зеленой фее» — абсенте

Среди всех алкоголиков любители абсента стоят особняком

Maxim
Закат Хаттусы Закат Хаттусы

Почему могущественные хетты покинули свою столицу

N+1
Как правильно собирать чемодан: лайфхаки, которые помогут компактно упаковать вещи Как правильно собирать чемодан: лайфхаки, которые помогут компактно упаковать вещи

Как компактно собрать чемодан, чтобы в него поместилось все необходимое

ТехИнсайдер
Пятый в истории: что означает новый случай излечения от ВИЧ Пятый в истории: что означает новый случай излечения от ВИЧ

Победить ВИЧ удалось после трансплантации пациенту стволовых клеток

Forbes
«Что подумают люди?»: как перестать подстраиваться под других — включите пофигизм «Что подумают люди?»: как перестать подстраиваться под других — включите пофигизм

Что такое «бюджет пофигизма» и как правильно распоряжаться ресурсами

Psychologies
Покупка подержанного Nissan X-Trail (Т32) Покупка подержанного Nissan X-Trail (Т32)

Автомобиль, который в буквальном смысле возродил Nissan

4x4 Club
Грани прекрасного Грани прекрасного

Как обновить квартиру с помощью креативной отделки стен

Добрые советы
Отрывок из книжного сериала Ислама Ханипаева «Луна 84» Отрывок из книжного сериала Ислама Ханипаева «Луна 84»

На сервисе «Букмейт» вышли два первых эпизода книжного сериала «Луна 84»

СНОБ
Дым отечества: 7 городов России с самой загрязненной атмосферой Дым отечества: 7 городов России с самой загрязненной атмосферой

Города, глубоко дышать в которых не рекомендуется

Вокруг света
Как выгодно инвестировать в искусство — рассказывает руководитель аукционного дома ARTinvestment.Ru Егор Молчанов Как выгодно инвестировать в искусство — рассказывает руководитель аукционного дома ARTinvestment.Ru Егор Молчанов

Насколько сейчас выгодно инвестировать в арт-активы?

СНОБ
Злачное тесто: краткая история хлеба, который всему голова Злачное тесто: краткая история хлеба, который всему голова

Есть один продукт, который не приедается никогда

Вокруг света
Тайна самой мистической авиакатастрофы СССР, унесшей жизни лучших хоккеистов страны Тайна самой мистической авиакатастрофы СССР, унесшей жизни лучших хоккеистов страны

Как погибла хоккейная команда ВВС МВО

ТехИнсайдер
Топ-5 упражнений на выносливость Топ-5 упражнений на выносливость

Эти упражнения стоит освоить каждому!

Лиза
Элегия жизни и смерти: зачем смотреть фильм «Больше, чем никогда» Элегия жизни и смерти: зачем смотреть фильм «Больше, чем никогда»

«Больше, чем никогда» — история, речь в которой заходит о том, о чем все молчат

РБК
Циркачи с Балкан. О новом спектакле Юрия Муравицкого «Черная кошка, белый кот» Циркачи с Балкан. О новом спектакле Юрия Муравицкого «Черная кошка, белый кот»

Сюжет о разлученных влюбленных перенесен с балканских просторов в цирк

СНОБ
Странные, лихие, наши: как мы жили в девяностые годы Странные, лихие, наши: как мы жили в девяностые годы

Писательница Ляля Брынза рассказывает о 90-х годах — во всех подробностях

VOICE
Зашифровала на совесть: что Мария Стюарт писала из заточения французскому послу? Зашифровала на совесть: что Мария Стюарт писала из заточения французскому послу?

Расшифровка писем опальной шотландской королевы

Вокруг света
Открыть в приложении