Владимир Васильев – о влиянии больших языковых моделей на будущее человека

РБКHi-Tech

Владимир Васильев: «Гонка технологических «вооружений» уже началась»

Какое влияние на экономику и будущее человека окажет стремительное развитие больших языковых моделей и почему переход к общему искусственному интеллекту по степени влияния на мир сопоставим с изобретением ядерного оружия? Ответы на эти вопросы — в колонке эксперта Владимира Васильева

Автор: Владимир Васильев, исследователь данных, академический руководитель онлайн-магистратуры Skillfactory и ТГУ «Анализ естественного языка в лингвистике и IT»

NLP как средство общения машины и человека

Natural Language Processing, или обработка естественного языка, — это одна из трех основных областей знаний в науке о данных. Две другие области — классическое машинное обучение (Machine Learning) и компьютерное зрение (Computer Vision). Многие называют эти области искусственным интеллектом, хотя специалисты предпочитают термин Data Science.

С использованием NLP-технологий построены все виртуальные ассистенты, которых вы знаете: «Алиса», «Маруся», «Салют» и многие другие. А также все большие языковые модели вроде ChatGPT, Bard, LLaMa или GigaChat. NLP-алгоритмы обрабатывают текстовые данные, которые накопились в процессе использования человеческого языка. Все то, что мы произносим, пишем, печатаем и слышим, можно привести к текстовому формату и обработать с помощью NLP-алгоритмов.

Большие языковые модели: от кладезя знаний до генератора фейков

Современные GPT-подобные модели представляют собой класс больших языковых моделей (LLM, Large Language Models) на основе трансформерной архитектуры, которые еще называют генеративными нейросетями. Основным элементом трансформерной архитектуры является механизм внимания (Attention Mechanism), который позволяет модели фокусироваться на наиболее важных элементах последовательности текста при его обработке. У современных LLM большое число параметров. Например, GPT-3 (модель из семейства GPT) содержит 175 млрд параметров, а T5 (Text-to-Text Transfer Transformer) — более чем 11 млрд параметров.

Параметры модели — это множество весовых коэффициентов, которые изменяются и оптимизируются в процессе обучения модели. Итоговые значения этих параметров являются результатом обучения модели — они определяют, как модель обрабатывает и генерирует информацию. Считается, что языковая модель является большой, если содержит больше одного миллиарда параметров.

Современные большие языковые модели смогут «поговорить» с вами человеческим языком, помогут найти информацию из интернета или написать компьютерный код, а также сформулируют правдоподобный ответ. Неудивительно, что такие не виданные ранее способности современных LLM впечатлили за минувший год многих пользователей и подогрели интерес к ИИ во всем мире.

Однако LLM опираются в основном на знания, которые им «скормили» во время обучения, и используют базовые логические операции с доступной информацией, поэтому их ответ не всегда будет полным или полностью верным. Кроме того, модель может по-разному отвечать на один и тот же вопрос и даже галлюцинировать, то есть выдавать за факт попросту не соответствующую действительности информацию.

Например, ChatGPT в ответ на запрос о конкретном человеке может выдумать несуществующую биографию, приукрасив ее различными ложными фактами. Такое поведение больших языковых моделей повышает риски их использования в тех отраслях, где цена ошибки особенно высока.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Квантовое превосходство Квантовое превосходство

«Квантовый компьютер – атомная бомба XX века»

ТехИнсайдер
5 черт поколения Y, которые могут его погубить 5 черт поколения Y, которые могут его погубить

Карьерный маркетолог выделила черты поколения Y, которые могут ему навредить

Psychologies
«Байденомика» против «трампономики» «Байденомика» против «трампономики»

Чья экономическая политика выгоднее для США

Деньги
Революция Ноама Хомского Революция Ноама Хомского

7 декабря 2023 года исполняется 95 лет Ноаму Хомскому

Наука
Рубен Ениколопов: «В вопросах на миллиарды долларов нельзя консультироваться с ChatGPT» Рубен Ениколопов: «В вопросах на миллиарды долларов нельзя консультироваться с ChatGPT»

Рубен Ениколопов: сможет ли Россия в одиночку совершить технологический рывок

РБК
Друзья человека: как психология помогает нам находить контакт с животными Друзья человека: как психология помогает нам находить контакт с животными

Почему между зверем и человеком больше общего, чем кажется

Psychologies
Сергей Шумский: «У роботов не будет инстинкта власти, как у человека» Сергей Шумский: «У роботов не будет инстинкта власти, как у человека»

Минувший год имеет шансы войти в историю как время взрывного роста нейросетей

РБК
Как правильно выбрать пиво к блюду. Советы шеф-повара Beer Pairing Как правильно выбрать пиво к блюду. Советы шеф-повара Beer Pairing

Когда пиво должно служить лишь фоном для блюда?

РБК
Евгений Колбин: «Мы построили бизнес-процессы вокруг клиента» Евгений Колбин: «Мы построили бизнес-процессы вокруг клиента»

Евгений Колбин рассказал о том, как развиваются облака в России

РБК
Свет в твоем окне Свет в твоем окне

Украшаем волшебными огнями весь дом

Лиза
В ожидании космического отпуска В ожидании космического отпуска

Самые реальные варианты космического туризма

Популярная механика
Александр Попов. Русский волшебник беспроводной связи Александр Попов. Русский волшебник беспроводной связи

Как русский ученый-физик Александр Степанович Попов изобрел радио

Зеркало Мира
Двойственное восприятие литовцев в Северо-Восточной Руси XV века в контексте «Сказания о нашествии Едигея» Двойственное восприятие литовцев в Северо-Восточной Руси XV века в контексте «Сказания о нашествии Едигея»

Образ Великого княжества Литовского и двойственность его восприятия народом Руси

Знание – сила
Маршрут перестроен Маршрут перестроен

Самые красивые и необычные места России

Grazia
Эволюция человека, квантовая революция и химия по щелчку Эволюция человека, квантовая революция и химия по щелчку

Как люди научились манипулировать самыми тончайшими материальными объектами

Эксперт
Проверка для интеллигентов! В чем разница между мемуарами и автобиографией? Проверка для интеллигентов! В чем разница между мемуарами и автобиографией?

Что такое мемуары и чем они отличаются от автобиографии?

ТехИнсайдер
Как научиться контролировать гнев: 5 советов из нейрофизиологии Как научиться контролировать гнев: 5 советов из нейрофизиологии

Почему агрессию сложно контролировать и как стабилизировать это состояние?

Psychologies
У биологов не получилась мышь с крысиным сердцем и сосудами У биологов не получилась мышь с крысиным сердцем и сосудами

Испанские исследователи отработали методику создания химерных мышей

N+1
«Возвращение в кафе “Полустанок”». Отрывок из романа Фэнни Флэгг «Возвращение в кафе “Полустанок”». Отрывок из романа Фэнни Флэгг

Глава из «Возвращения в кафе “Полустанок”» про обаяние американской провинции

СНОБ
Как Мария Грекова создает «Нормальные места» для людей с особыми потребностями Как Мария Грекова создает «Нормальные места» для людей с особыми потребностями

Как запускать социальные проекты и трудоустраивать людей с инвалидностью

Forbes
Татьяна Васильева: «Мне кажется, все великие артисты дураки» Татьяна Васильева: «Мне кажется, все великие артисты дураки»

Большое интервью с Татьяной Васильевой

Коллекция. Караван историй
В России выходит автобиография Энцо Феррари «Мои ужасные радости». MAXIM публикует эксклюзивный отрывок В России выходит автобиография Энцо Феррари «Мои ужасные радости». MAXIM публикует эксклюзивный отрывок

Самая важная глава из книги великого конструктора и автогонщика.

Maxim
Наталия Сирадзе о Савелии Крамарове Наталия Сирадзе о Савелии Крамарове

Вдова Савелия Крамарова Наталия Сирадзе вспоминает о его жизни и творчестве

Коллекция. Караван историй
Как уроженец Арзамаса-16 основал сеть Poison Drop и привлек деньги миллиардера Как уроженец Арзамаса-16 основал сеть Poison Drop и привлек деньги миллиардера

Последние два года стали судьбоносными для продавца бижутерии Poison Drop

Forbes
Дымит разлом Дымит разлом

Как устроена физика Quantum Break

N+1
Очевидная премия за очевидные открытия: Клаудиа Голдин Очевидная премия за очевидные открытия: Клаудиа Голдин

Клаудиа Голдин объяснила, почему женщины зарабатывают меньше мужчин

Наука
Происхождение совершенства Происхождение совершенства

Когда и почему растения свернулись в идеальную спираль

N+1
Изобретая заговоры, или История главного злодея XVII века Изобретая заговоры, или История главного злодея XVII века

Падение Титуса Оутса, выдумавшего католический заговор

Знание – сила
«Останавливаться я не собираюсь» «Останавливаться я не собираюсь»

Екатерина Молоховская на сцене — артистка, а в жизни — психолог

OK!
С чистого листа. 5 главных песен Джона Леннона С чистого листа. 5 главных песен Джона Леннона

Рассматриваем биографию Джона Леннона через 5 его главных песен

СНОБ
Открыть в приложении