Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как появилась Вселенная? Ответ может скрываться в водах Байкала Как появилась Вселенная? Ответ может скрываться в водах Байкала

Ключ к разгадке сотворения Вселенной может находиться в глубинах Байкала

ТехИнсайдер
Почти как Бекхэмы: 10 успешных союзов звезд футбола, тенниса, хоккея и гимнастики Почти как Бекхэмы: 10 успешных союзов звезд футбола, тенниса, хоккея и гимнастики

Спортивные браки, которые оказались и прочными, и финансово успешными

Forbes
«Огонь-батареи»: как изменились космические солнечные батареи за 67 лет «Огонь-батареи»: как изменились космические солнечные батареи за 67 лет

Какой путь прошли солнечные элементы космического типа с момента изобретения?

ТехИнсайдер
Иван Кашпуров Иван Кашпуров

Кто, кроме земляков, сейчас помнит этого писателя?

Дилетант
Дама с уликами: как Агата Кристи стала одним из самых продаваемых авторов в истории Дама с уликами: как Агата Кристи стала одним из самых продаваемых авторов в истории

История Агаты Кристи — одной из самых издаваемых и переводимых писательниц

Forbes
Высшая мера наказания: что побуждает людей поддерживать смертную казнь Высшая мера наказания: что побуждает людей поддерживать смертную казнь

Почему одни люди поддерживают смертную казнь, а другие осуждают

Psychologies
Financial Times рассказала о «современном рабстве» в «Опус Деи». Католическая организация принуждает девочек трудиться бесплатно Financial Times рассказала о «современном рабстве» в «Опус Деи». Католическая организация принуждает девочек трудиться бесплатно

Современная католическая организация «Опус Деи» буквально использует рабство

Правила жизни
Похороны Хрущёва Похороны Хрущёва

Отрывок, описывающий похороны опального политика Никиты Хрущёва

Дилетант
4 правила секс-безопасности в командировке 4 правила секс-безопасности в командировке

Как сделать так, чтобы секс в командировке принес только яркие впечатления

Psychologies
Макаки сложили цифры в двух рукавах лабиринта и выбрали оптимальный маршрут Макаки сложили цифры в двух рукавах лабиринта и выбрали оптимальный маршрут

Ученые научили макак перемещаться по компьютерному лабиринту

N+1
За пределами привычного: нетрадиционные объекты интеллектуальной собственности и их особенности За пределами привычного: нетрадиционные объекты интеллектуальной собственности и их особенности

Виды нетрадиционных объектов интеллектуальной собственности и их значение

Наука и техника
Где живет (не)зависимость? Где живет (не)зависимость?

Откуда берутся навязчивые пристрастия, существует ли предрасположенность к ним?

Psychologies
Искра моря Искра моря

Траулеру Scintilla Maris посчастливилось стать настоящей экспедиционной яхтой

Y Magazine
Как ученые обнаружили «потерянный металл Атлантиды»! Интересная история и тайна прошлого Как ученые обнаружили «потерянный металл Атлантиды»! Интересная история и тайна прошлого

Чем оказались слитки загадочного металла, найденные среди затонувшего корабля

ТехИнсайдер
Мама может Мама может

Преимущества, которые дает женщинам российский закон

Лиза
Букет возможностей: как устроен и как перестраивается цветочный бизнес Букет возможностей: как устроен и как перестраивается цветочный бизнес

Откуда привозят цветы, из чего складывается стоимость букета и другие вопросы

РБК
Вставить чип прямо в мозг: каким образом современные технологии помогают парализованным людям и как это работает Вставить чип прямо в мозг: каким образом современные технологии помогают парализованным людям и как это работает

Технология Stentrode может помочь пациентам, утратившим двигательные функции

Inc.
Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдер
Джекпот, или пот чемпионов Джекпот, или пот чемпионов

Бум на спортивную меморабилию за океаном

RR Люкс.Личности.Бизнес.
Ожирение — не болезнь? Ожирение — не болезнь?

К каким последствиям может привести лишний вес

Караван историй
Сплошная польза Сплошная польза

Функциональное питание – популярная тема у диетологов. Почему оно стало хитом?

Добрые советы
15 фильмов для тех, кому понравилась «Дюна» 15 фильмов для тех, кому понравилась «Дюна»

Что еще посмотреть, если двух кинолент «Дюна» Дени Вильнева вам не хватило

Maxim
Надо ли тебе менять работу Надо ли тебе менять работу

Чувствуешь себя не на своем месте? Своим ли делом ты занимаешься?

Лиза
Итальянские протеи покинули пещеры ради охоты на червей Итальянские протеи покинули пещеры ради охоты на червей

Ранее считалось, что европейские протеи проводят под землей всю жизнь

N+1
Вот что нужно знать, если вы хотите начать медитировать! Простые советы экспертов Вот что нужно знать, если вы хотите начать медитировать! Простые советы экспертов

Самым большим препятствием на пути к практике медитации является начало

ТехИнсайдер
Прощай, global Russian: как российским бизнесменам преодолеть кризис идентичности Прощай, global Russian: как российским бизнесменам преодолеть кризис идентичности

Элите российского бизнеса вернуться домой с концами будет очень тяжело

Forbes
Когда это закончится? Когда это закончится?

Жителям Польши дольше других пришлось ждать, чем кончится схватка

Дилетант
Как справиться с тревогой: 10 шагов к спокойствию Как справиться с тревогой: 10 шагов к спокойствию

Как остановить тревожные мысли, заземлиться и успокоиться

ТехИнсайдер
Эрос, что тебе снится? Эрос, что тебе снится?

Почему в сексе нам часто не хватает реальности и мы пускаемся в фантазирование?

Psychologies
Изгибы судьбы Изгибы судьбы

История Марианны, которая выросла в детдоме и стала молодой мамой в 16 лет

СНОБ
Открыть в приложении