Владимир Васильев: «Гонка технологических «вооружений» уже началась»
Какое влияние на экономику и будущее человека окажет стремительное развитие больших языковых моделей и почему переход к общему искусственному интеллекту по степени влияния на мир сопоставим с изобретением ядерного оружия? Ответы на эти вопросы — в колонке эксперта Владимира Васильева
NLP как средство общения машины и человека
Natural Language Processing, или обработка естественного языка, — это одна из трех основных областей знаний в науке о данных. Две другие области — классическое машинное обучение (Machine Learning) и компьютерное зрение (Computer Vision). Многие называют эти области искусственным интеллектом, хотя специалисты предпочитают термин Data Science.
С использованием NLP-технологий построены все виртуальные ассистенты, которых вы знаете: «Алиса», «Маруся», «Салют» и многие другие. А также все большие языковые модели вроде ChatGPT, Bard, LLaMa или GigaChat. NLP-алгоритмы обрабатывают текстовые данные, которые накопились в процессе использования человеческого языка. Все то, что мы произносим, пишем, печатаем и слышим, можно привести к текстовому формату и обработать с помощью NLP-алгоритмов.
Большие языковые модели: от кладезя знаний до генератора фейков
Современные GPT-подобные модели представляют собой класс больших языковых моделей (LLM, Large Language Models) на основе трансформерной архитектуры, которые еще называют генеративными нейросетями. Основным элементом трансформерной архитектуры является механизм внимания (Attention Mechanism), который позволяет модели фокусироваться на наиболее важных элементах последовательности текста при его обработке. У современных LLM большое число параметров. Например, GPT-3 (модель из семейства GPT) содержит 175 млрд параметров, а T5 (Text-to-Text Transfer Transformer) — более чем 11 млрд параметров.
Параметры модели — это множество весовых коэффициентов, которые изменяются и оптимизируются в процессе обучения модели. Итоговые значения этих параметров являются результатом обучения модели — они определяют, как модель обрабатывает и генерирует информацию. Считается, что языковая модель является большой, если содержит больше одного миллиарда параметров.
Современные большие языковые модели смогут «поговорить» с вами человеческим языком, помогут найти информацию из интернета или написать компьютерный код, а также сформулируют правдоподобный ответ. Неудивительно, что такие не виданные ранее способности современных LLM впечатлили за минувший год многих пользователей и подогрели интерес к ИИ во всем мире.
Однако LLM опираются в основном на знания, которые им «скормили» во время обучения, и используют базовые логические операции с доступной информацией, поэтому их ответ не всегда будет полным или полностью верным. Кроме того, модель может по-разному отвечать на один и тот же вопрос и даже галлюцинировать, то есть выдавать за факт попросту не соответствующую действительности информацию.
Например, ChatGPT в ответ на запрос о конкретном человеке может выдумать несуществующую биографию, приукрасив ее различными ложными фактами. Такое поведение больших языковых моделей повышает риски их использования в тех отраслях, где цена ошибки особенно высока.