Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Каких рыбок завести начинающему аквариумисту: самые неприхотливые питомцы Каких рыбок завести начинающему аквариумисту: самые неприхотливые питомцы

Большинству видов декоративных рыб не нужен особый уход. Вот некоторые из них

ТехИнсайдер
Доктор, меня все игнорируют! Доктор, меня все игнорируют!

Как сделать так, чтобы вас слышали и слушали?

Men Today
«Думающие» ИИ-спутники сами выбирают момент съемки Земли «Думающие» ИИ-спутники сами выбирают момент съемки Земли

Как работает система, позволяющая спутникам анализировать обстановку

ТехИнсайдер
Правила использования браслетов противоскольжения Правила использования браслетов противоскольжения

Что такое браслеты противоскольжения и как их использовать?

4x4 Club
Крупным планом: что происходит с отечественным кинорынком Крупным планом: что происходит с отечественным кинорынком

Какое кино сейчас интересно зрителям в России?

Inc.
Ретроградный Меркурий в 2024 году Ретроградный Меркурий в 2024 году

Так ли виноват ретроградный Меркурий и какие сюрпризы от него ждать в этом году?

Лиза
По другим правилам По другим правилам

Быть женщиной сегодня интереснее и перспективнее, чем каких-нибудь сто лет назад

Лиза
Перепись птичьего населения Перепись птичьего населения

Ученые предложили новый способ оценки синантропизации птиц

Наука
13 вещей, которые нельзя делать во время уборки на кухне: мнение профессиональных клинеров 13 вещей, которые нельзя делать во время уборки на кухне: мнение профессиональных клинеров

Хочешь знать мнение профессиональных клинеров о правилах уборки на кухне?

VOICE
«Это я — Эдичка» — непонятый роман Эдуарда Лимонова «Это я — Эдичка» — непонятый роман Эдуарда Лимонова

Скандальный роман Эдуарда Лимонова, содержание которого понимают неправильно

СНОБ
Шлумбергеры в доме: долгая и интересная жизнь Шлумбергеры в доме: долгая и интересная жизнь

Домашняя шлумбергера — долголетние и невероятно привлекательное растение

Наука и жизнь
Что такое «парижский синдром» и чем он опасен Что такое «парижский синдром» и чем он опасен

Японцы, Париж, неоправданные ожидания… В чем связь? В «парижском синдроме»

Psychologies
Мозг умеет ждать награду и предсказывать время ее получения Мозг умеет ждать награду и предсказывать время ее получения

Как мозг «предсказывает» уровень вознаграждения и оценивает время его получения

ТехИнсайдер
Пять лет в подвале на Тверской: самые дорогие работы, проданные в Cube.Moscow Пять лет в подвале на Тверской: самые дорогие работы, проданные в Cube.Moscow

Как Cube удалось стать одним из важных центров московской художественной жизни

Forbes
По следам первопроходцев По следам первопроходцев

Следы эпохи Великих географических открытий – во всей нашей жизни

Вокруг света
Не только уксус: чем можно заменить разные моющие средства Не только уксус: чем можно заменить разные моющие средства

Вот чем тебе стоит воспользоваться, если дома закончился пятновыводитель

VOICE
Путь героя Путь героя

Пять героев, которые в один день решились и изменили свой привычный мир

Seasons of life
Мешок со вшами Мешок со вшами

В октябре 1919 года войска Северо-Западной армии дошли до российской столицы...

Дилетант
5 признаков того, что вы слишком увлечены заботой о партнере 5 признаков того, что вы слишком увлечены заботой о партнере

«Cиндром спасателя» — что это такое и чем выгодна эта модель поведения?

Psychologies
Деньги с неба Деньги с неба

Какие подвохи может скрывать завещание и как защитить свои интересы

Лиза
Миры робинзонады Миры робинзонады

Авторы романов-робинзонад отправляли своих героев на уже известные острова

Вокруг света
5 ошибок при мытье зеркал и окон, которые непременно приведут к образованию разводов 5 ошибок при мытье зеркал и окон, которые непременно приведут к образованию разводов

Исключите эти ошибки — и вам не придется несколько раз перемывать окна и зеркала

ТехИнсайдер
Великобритания подошла для роста гигантских секвой не хуже Калифорнии Великобритания подошла для роста гигантских секвой не хуже Калифорнии

Секвойядендроны можно высаживать для борьбы с изменением климата

N+1
Парадоксы «кроличьей норы» Парадоксы «кроличьей норы»

Что случится, если упасть в туннель, проходящий Землю насквозь через её центр?

Наука и жизнь
Как бизнес способствует развитию инклюзивности Как бизнес способствует развитию инклюзивности

Как бизнес содействует повышению качества жизни социально уязвимых групп

СНОБ
Паук, который захотел стать муравьем: редкая находка в ископаемой смоле Паук, который захотел стать муравьем: редкая находка в ископаемой смоле

Этот ископаемый паук замечателен тем, что имитирует внешний вид муравья

ТехИнсайдер
Хочу булочку! Хочу булочку!

Как есть мучное и при этом не набирать вес: советы нутрициолога

Лиза
Оксана Акиньшина Оксана Акиньшина

В Оксане Акиньшиной сочетаются вещи, казалось бы, несовместные

Собака.ru
Как ученые смогли снять отпечатки пальцев с 2400-летнего трупа! История болотного тела из Толлунда Как ученые смогли снять отпечатки пальцев с 2400-летнего трупа! История болотного тела из Толлунда

Усопший когда-то стал жертвой человеческого жертвоприношения

ТехИнсайдер
Как справиться с тревогой: 10 шагов к спокойствию Как справиться с тревогой: 10 шагов к спокойствию

Как остановить тревожные мысли, заземлиться и успокоиться

ТехИнсайдер
Открыть в приложении