Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как управлять болью в мозгу без таблеток? Эксперт дал интересный ответ Как управлять болью в мозгу без таблеток? Эксперт дал интересный ответ

Хроническую боль можно избежать, если "перепрограммировать" мозг

ТехИнсайдер
Могут ли месячные пропасть или начаться раньше из-за стресса Могут ли месячные пропасть или начаться раньше из-за стресса

Могут ли месячные не прийти или начаться раньше из-за стресса?

Psychologies
Домашняя работа: как привести IT в ЖКХ в порядок Домашняя работа: как привести IT в ЖКХ в порядок

О том, что можно сделать с хаосом в жилищно-коммунальном IT

Forbes
6 фильмов о дружбе, одержимости и соперничестве между женщинами 6 фильмов о дружбе, одержимости и соперничестве между женщинами

Фильмы, где связанные узами женщины переживают кризис идентичности

СНОБ
Эмоциональный интеллект Эмоциональный интеллект

Новое представление о том, что значит быть «умным»

kiozk originals
На свет появилась корова, которая «дает» инсулин для диабетиков На свет появилась корова, которая «дает» инсулин для диабетиков

ГМО-корова может производить молоко, содержащее человеческий инсулин

ТехИнсайдер
Все альбомы Depeche Mode от худшего к лучшему Все альбомы Depeche Mode от худшего к лучшему

Для тысяч россиян Depeche Mode — саундтрек всей их жизни, начиная с 80-х

Maxim
10 мифов о Великом посте 10 мифов о Великом посте

Как провести пост с пользой для души и тела, без заблуждений и ошибок

Maxim
12 продуктов, которые способны снижать уровень холестерина 12 продуктов, которые способны снижать уровень холестерина

Некоторые продукты действительно могут помочь снизить уровень холестерина!

ТехИнсайдер
Нет любви Нет любви

Наверное, каждая мечтает о настоящих чувствах. В чем проблема, если их нет?

Добрые советы
Диалог на турецком: к чему быть готовым при ведении бизнеса с турецкими партнерами Диалог на турецком: к чему быть готовым при ведении бизнеса с турецкими партнерами

Об особенностях взаимодействия с Турцией, своеобразии культуры и менталитета

Forbes
Я — сноб: хореограф Егор Дружинин Я — сноб: хореограф Егор Дружинин

Режиссер и хореограф Егор Дружинин о важности пауз и балете-дефиле

СНОБ
Найденный на изгороди волос заставил зоологов усомниться в вымирании яванских тигров Найденный на изгороди волос заставил зоологов усомниться в вымирании яванских тигров

Яванские тигры, которые считаются вымершими, могли дожить до наших дней

N+1
Перевернутая Сибирь Перевернутая Сибирь

Петр Первый экзаменовал своих бояр по географии, пользуясь Большой картой Сибири

Вокруг света
Оксана Акиньшина Оксана Акиньшина

В Оксане Акиньшиной сочетаются вещи, казалось бы, несовместные

Собака.ru
10 фраз, которые нельзя говорить пожилым родителям 10 фраз, которые нельзя говорить пожилым родителям

Как общаться с пожилыми родителями и находить разумный баланс?

Psychologies
Быть на вершине Быть на вершине

Удовольствие, свобода и безумие во французских Альпах

Автопилот
Лишь секса тень Лишь секса тень

В каком возрасте больше секса?

Men Today
Исследование: быстрое развитие болезни Альцгеймера вызвано накоплением жира в клетках мозга Исследование: быстрое развитие болезни Альцгеймера вызвано накоплением жира в клетках мозга

Аллель E4 гена APOE, провоцирует накопление жировых капель в клетках мозга

ТехИнсайдер
Что такое синдром навязчивых грез и как с ним бороться Что такое синдром навязчивых грез и как с ним бороться

Что такое синдром навязчивых грез и можно ли от него избавиться

РБК
Движение вверх Движение вверх

Переосмысление интерьера дома взрослой семейной пары для нового образа жизни

Идеи Вашего Дома
Авианосцы постройки Италии и Испании. Часть 1: Италия Авианосцы постройки Италии и Испании. Часть 1: Италия

Флагманы итальянского флота — авианосцы «Джузеппе Гарибальди» и «Конте Ди Кавур»

Наука и техника
Дом Лансере Дом Лансере

Мы идем в гости к хранителю не только художественных образов

Seasons of life
Шанс для защиты: как реагировать на иски прокуратуры о пересмотре итогов приватизации Шанс для защиты: как реагировать на иски прокуратуры о пересмотре итогов приватизации

Общие тенденции прокурорских исков имущества и защита от них

Forbes
Вышел корейский триллер «День похищения». MAXIM публикует эксклюзивный отрывок Вышел корейский триллер «День похищения». MAXIM публикует эксклюзивный отрывок

Отрывок из национального бестселлера Южной Кореи

Maxim
Искра моря Искра моря

Траулеру Scintilla Maris посчастливилось стать настоящей экспедиционной яхтой

Y Magazine
Где живет (не)зависимость? Где живет (не)зависимость?

Откуда берутся навязчивые пристрастия, существует ли предрасположенность к ним?

Psychologies
Грибы перестают расти Грибы перестают расти

Рынок культивируемых грибов близок к перепроизводству, но есть возможность роста

Монокль
По следам первопроходцев По следам первопроходцев

Следы эпохи Великих географических открытий – во всей нашей жизни

Вокруг света
Назальный спрей с блокатором калиевого канала облегчил ночное апноэ Назальный спрей с блокатором калиевого канала облегчил ночное апноэ

Селективный блокатор калиевого канала TASK 1/3 снижает тяжесть ночного апноэ

N+1
Открыть в приложении