Разработан новый метод борьбы с галлюцинациями больших лингвистических моделей
Исследователи из Университета Иллинойса в Урбане-Шампейне представили систему для обнаружения галлюцинаций в тексте, генерируемом LLM. Система получила название KnowHalu
Галлюцинации становятся едва ли не главным препятствием в развитии больших лингвистических моделей. Человек хочет использовать модели, но он не может доверять.
Большие языковые модели (LLM) — это диалоговые системы на основе искусственного интеллекта, которые могут отвечать на запросы пользователей и генерировать убедительные тексты, следуя инструкциям пользователя (промптам). После появления ChatGPT, разработанной OpenAI, эти модели становятся все более популярными, и все больше компаний сейчас инвестируют в их разработку.
Но чем чаще люди используют LLM, тем большую ответственность они возлагают на модели. Если необходимо постоянно проверять ответы модели, она просто теряет смысл. Она не должна бы ошибаться, а она ошибается и так редко.
Ее ошибки получили название «галлюцинаций». Можно ли избавиться, если от всех то большинства таких ошибок, или хотя уверенно их диагностировать.
Исследователи из Университета Иллинойса в Урбане-Шампейне представили систему для обнаружения галлюцинаций в тексте, генерируемом LLM. Система получила название KnowHalu. Она описана в статье, опубликованной на сервере препринтов arXiv.