Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Почему галактики закручиваются в спирали: ученые изучили механизмы формирования звездных скоплений Почему галактики закручиваются в спирали: ученые изучили механизмы формирования звездных скоплений

Какие модели образования спиралевидных галактик выделяют учены?

ТехИнсайдер
Домашние просторы Домашние просторы

Связь с внешним миром и пространство, наполненное светом, в трехэтажном доме

Идеи Вашего Дома
Робопчелу научили садиться по-комарьи Робопчелу научили садиться по-комарьи

Инженеры разработали шасси для миниатюрного орнитоптера RoboBee

N+1
Релокация в детство Релокация в детство

«Шепот сердца»: сказка из прошлой жизни

Weekend
Дискуссия о формате: почему российской рознице нужны единые стандарты регулирования Дискуссия о формате: почему российской рознице нужны единые стандарты регулирования

Государство хочет установить правила регулирования работы маркетплейсов

Forbes
Удивительные шедевры архитектуры: древнейшие сооружения, мимо которых невозможно пройти Удивительные шедевры архитектуры: древнейшие сооружения, мимо которых невозможно пройти

Здания, которые восхищают не только любителей архитектуры, но и простых туристов

ТехИнсайдер
Бояться или нет? 5 книг про искусственный интеллект Бояться или нет? 5 книг про искусственный интеллект

Кто прав и чего нам ждать от инноваций? Пять книг на актуальную тему

Maxim
Прослушка: TumaniYO — об астраханском рэпе, рагге, MiyaGi и Эндшпиле Прослушка: TumaniYO — об астраханском рэпе, рагге, MiyaGi и Эндшпиле

TumaniYO — о том, чем отличается астраханский и владикавказский рэп

Правила жизни
Можно ли вылечить больное горло алкоголем? 7 неудобных вопросов врачу Можно ли вылечить больное горло алкоголем? 7 неудобных вопросов врачу

Вопросы, которые вы стесняетесь задать ЛОРу

Psychologies
Темная сторона ИИ Темная сторона ИИ

Влияние нового вида интеллекта, которое трудно предсказать

Psychologies
Парус, лыжи, кошки, спиннинг… Парус, лыжи, кошки, спиннинг…

В кратер вулкана на лыжах и неделя «вне зоны действия сети»

Вокруг света
Сельхозпроизводство условно стабильно Сельхозпроизводство условно стабильно

В 2023 году сельхозпроизводство показало небольшое снижение и устойчивость

Агроинвестор
Фонотека Фонотека

Как первому альбому The Velvet Underground удалось не попасть во время

Правила жизни
Чем полезна пекинская капуста для организма: 8 свойств Чем полезна пекинская капуста для организма: 8 свойств

Пекинская капуста (ее еще называют бок-чой): диетическая, полезная и вкусная

РБК
Постколониальный док и борьба с зависимостью: лучшие женские работы на Берлинале Постколониальный док и борьба с зависимостью: лучшие женские работы на Берлинале

Работы женщин, которые заявили о себе на Берлинале

Forbes
В духе модернизма В духе модернизма

Лаконичный одноэтажный дом в живописной местности в окрестностях Минска

Идеи Вашего Дома
Разговоры о яйцах: какие лучше — C0, C1 или C2? Разговоры о яйцах: какие лучше — C0, C1 или C2?

Что означают буквы и цифры на яйцах? Как правильно яйца хранить?

ТехИнсайдер
Авианосцы постройки Италии и Испании. Часть 1: Италия Авианосцы постройки Италии и Испании. Часть 1: Италия

Флагманы итальянского флота — авианосцы «Джузеппе Гарибальди» и «Конте Ди Кавур»

Наука и техника
Вышел корейский триллер «День похищения». MAXIM публикует эксклюзивный отрывок Вышел корейский триллер «День похищения». MAXIM публикует эксклюзивный отрывок

Отрывок из национального бестселлера Южной Кореи

Maxim
Наталия Архангельская Наталия Архангельская

Наталия Архангельская выжгла дотла первоосновы русского люкса и глянца

Собака.ru
Аккуратисты и бардачники: как выжить в одном доме с мужчиной, если у вас разные взгляды на быт? Аккуратисты и бардачники: как выжить в одном доме с мужчиной, если у вас разные взгляды на быт?

Как ужиться в одном доме, если вы по-разному относитесь к порядку?

VOICE
Чтение выходного дня: фрагмент нового романа Яны Вагнер «Тоннель» Чтение выходного дня: фрагмент нового романа Яны Вагнер «Тоннель»

Отрывок из нового психологического триллера Яны Вагнер «Тоннель»

Правила жизни
Стимуляция вентральных областей соматосенсорной коры привела к отсроченной остановке речи Стимуляция вентральных областей соматосенсорной коры привела к отсроченной остановке речи

Как соматосенсорная кора участвует в планировании речи

N+1
7 романов, основанных на мифах и легендах 7 романов, основанных на мифах и легендах

Книги, в которых мифы и легенды разных народов откроются для вас с новой стороны

Maxim
6 простых правил, которые сделают тебя стройной к летнему сезону 6 простых правил, которые сделают тебя стройной к летнему сезону

Как терять вес, получая удовольствие от процесса?

VOICE
Астрономы увидели прорыв ударной волны сверхновой сквозь плотное околозвездное вещество Астрономы увидели прорыв ударной волны сверхновой сквозь плотное околозвездное вещество

Ученые проследили ударную волну сверхновой сквозь плотное околозвездное вещество

N+1
Грибы перестают расти Грибы перестают расти

Рынок культивируемых грибов близок к перепроизводству, но есть возможность роста

Монокль
«Пыльный котел»: экологическая катастрофа 1930-х годов, которая перевернула жизнь США «Пыльный котел»: экологическая катастрофа 1930-х годов, которая перевернула жизнь США

Одна из масштабных экологических катастроф пронеслась по Америке в 1930-х годах

ТехИнсайдер
Почему не дышит нос? Почему не дышит нос?

Наш нос – сложная система, если в ней произошёл сбой, страдает весь организм

Здоровье
Чек-лист тревожного человека: как понять, что тебе нужна помощь Чек-лист тревожного человека: как понять, что тебе нужна помощь

Как понять, что твоя тревожность уже вышла за рамки нормальной реакции

VOICE
Открыть в приложении