У ИИ бывают «галлюцинации», но не такие, как у человека
Ученые анализируют новый феномен, возникший за последний год после распространения чат-ботов, таких как ChatGPT. Большая языковая модель может не только выдать неверную информацию, но и упорствовать, доказывая, что все так и есть. Это явление получило название "галлюцинации ИИ". В настоящее время ведется интенсивная исследовательская работа по минимизации этого эффекта. На сегодня эта задача не решена. И ученые задумались о связи между галлюцинациями у ИИ и у человека.
Галлюцинации ИИ в чем-то воспроизводят галлюцинации человека, и научившись "лечить" галлюцинации на модели, мы и человеку поможем лучше понимать реальность.
Запуск все более мощных больших языковых моделей (LLM), таких как GPT-3.5 и 4.0 вызвал большой интерес за последний год. Сначала люди пришли буквально в восторг от возможностей чат-ботов, но доверие к этим моделям ослабло, когда пользователи обнаружили, что модели ошибаются, что они, как и мы, не совершенны.
Явление, когда LLM не только выдает неверную информацию, но и упорствует, доказывая, что все так и есть, получило название "галлюцинации ИИ". В настоящее время ведется интенсивная исследовательская работа по минимизации этого эффекта. Сегодня эта задача не решена. И ученые задумались о связи между галлюцинациями у ИИ и у человека. Возможно, ИИ в чем-то повторяет наш собственный опыт.
Понимая такую связь можно попытаться создавать более продвинутые системы ИИ, которые в конечном итоге помогут уменьшить количество человеческих ошибок.
Как галлюцинируют люди
Люди придумывают информацию. Иногда это делается намеренно, а иногда - это ошибка памяти. Такие ошибки часто является результатом своего рода "эвристики", основанной на нашем опыте. Мы заменяем длинное рассуждение ярлыком, который рождается при сжатии ошибочных данных.
Часто эти ярлыки рождаются из необходимости. В любой момент времени мы можем обработать лишь ограниченное количество информации, поступающей на наши органы чувств, и можем запомнить лишь малую часть всей информации, с которой мы сталкиваемся.
Поэтому наш мозг должен использовать заученные ассоциации, чтобы заполнить пробелы и быстро ответить на любой вопрос или затруднение, возникшее перед нами. Другими словами, наш мозг угадывает правильный ответ на основе ограниченных знаний. Это явление называется "конфабуляция" (confabulation - или попросту "болтовня") и является примером человеческого предубеждения.