Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

У истоков времени: старейшие часовые заводы мира, которые существуют до сих пор У истоков времени: старейшие часовые заводы мира, которые существуют до сих пор

Самые известные и самые опытные часовые заводы мира

ТехИнсайдер
9 легких способов расположить к себе людей без всяких манипуляций 9 легких способов расположить к себе людей без всяких манипуляций

Как с помощью подсознания вызвать симпатию у любого человека?

Maxim
Читалка для компьютера: выбираем лучшую из бесплатных Читалка для компьютера: выбираем лучшую из бесплатных

Лучшие читалки для компьютера из бесплатных программ

CHIP
Реагируют на определенные голоса людей и боятся развевающейся на ветру ткани: 50 интересных фактов о жизни волков Реагируют на определенные голоса людей и боятся развевающейся на ветру ткани: 50 интересных фактов о жизни волков

Увлекательная подборка необычных фактов о волках

ТехИнсайдер
Возможно, у вас уже все есть: разбор гардероба в 4 простых правилах Возможно, у вас уже все есть: разбор гардероба в 4 простых правилах

Почему бы не заняться разбором гардероба прямо сейчас?

Правила жизни
«Поэтам не всё дозволено» «Поэтам не всё дозволено»

Нет ни одной сферы советской жизни, в которой не проявился антисемитизм

Дилетант
Букет возможностей: как устроен и как перестраивается цветочный бизнес Букет возможностей: как устроен и как перестраивается цветочный бизнес

Откуда привозят цветы, из чего складывается стоимость букета и другие вопросы

РБК
Про сердце. Факты о здоровье сердца, которые важно знать именно женщинам Про сердце. Факты о здоровье сердца, которые важно знать именно женщинам

Факты о здоровье сердца, на которые женщинам важно обратить внимание

Лиза
Действительно ли дезодорант может защитить от пота в течение 48 часов Действительно ли дезодорант может защитить от пота в течение 48 часов

Насколько заявленная эффективность соответствует реальному времени дезодорантов?

Maxim
Что такое фаркоп. Нужно ли его регистрировать и как правильно оформить Что такое фаркоп. Нужно ли его регистрировать и как правильно оформить

Все о фаркопе: виды, правила установки, штрафы

РБК
Сверхнизкие орбиты: уникальные возможности и интрига освоения Сверхнизкие орбиты: уникальные возможности и интрига освоения

Сверхнизкие орбиты открывают перспективы, которых нет у других космических высот

Наука
Нейробика: сделать шаг в будущее Нейробика: сделать шаг в будущее

Как развить навыки, необходимые в высокотехнологичном мире?

Psychologies
Советы для «сов»: как просыпаться по утрам проще и эффективнее Советы для «сов»: как просыпаться по утрам проще и эффективнее

Как облегчить себе пробуждение и просыпаться быстрее?

ТехИнсайдер
«Яблоки не падают никогда»: каким получился новый сериал по роману Лианы Мориарти «Яблоки не падают никогда»: каким получился новый сериал по роману Лианы Мориарти

Почему стоит уделить внимание сериалу «Яблоки не падают никогда»

Forbes
Искусство, черт побери! Искусство, черт побери!

«Коллекционер – это едва ли не каждый из нас»

Правила жизни
Подружились, полюбились, спелись Подружились, полюбились, спелись

Творческое объединение «Под облаками» — это десять увлеченных людей

Seasons of life
Вдруг выросла спина Вдруг выросла спина

Как сделать спину снова великой

Men Today
6 особенностей квартиры, которые выдают неуверенную в себе женщину 6 особенностей квартиры, которые выдают неуверенную в себе женщину

Что интерьер квартиры может рассказать про самооценку её хозяйки?

Psychologies
Что такое мнительность и кто такой мнительный человек: объяснение гештальт-терапевта Что такое мнительность и кто такой мнительный человек: объяснение гештальт-терапевта

Что значит — мнительный характер? Почему он вреден для вашей жизни?

Psychologies
Женские таблетки Женские таблетки

Противозачаточные средства: свойства, не связанные с контрацепцией

Лиза
Священная гора Священная гора

Kитайский автомобиль от автора Ferrari

Автопилот
За пределами привычного: нетрадиционные объекты интеллектуальной собственности и их особенности За пределами привычного: нетрадиционные объекты интеллектуальной собственности и их особенности

Виды нетрадиционных объектов интеллектуальной собственности и их значение

Наука и техника
Елена Лукьянова Елена Лукьянова

Зачем дорогам генеральная уборка и когда на ЗСД появится безбарьерный проезд

Собака.ru
Всё как есть Всё как есть

Отвечаем на все актуальные вопросы по правильному питанию

Добрые советы
Дрифт Дрифт

Как живет династия дрифтеров

Men Today
Любовь сильнее страха Любовь сильнее страха

Всегда была любовь к городу и желание сделать о нем сувенир

Seasons of life
Ни дна без строчки Ни дна без строчки

Как Юрий Олеша всю жизнь размышлял о своем поражении и искал для него слова

Weekend
Правда ли, что белок влияет на газообразование Правда ли, что белок влияет на газообразование

Протеин не является основным виновником вздутия и газообразования

ТехИнсайдер
Восемь продуктов, повышающих гемоглобин Восемь продуктов, повышающих гемоглобин

Какие продукты помогут повысить гемоглобин в крови и справиться с анемией

РБК
Тана Френч: «В лесу». Роман из «Дублинского цикла» Тана Френч: «В лесу». Роман из «Дублинского цикла»

Фрагмент из дебютного детективного романа Таны Френч «В лесу»

СНОБ
Открыть в приложении