Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Новая модель показала, что Арктика освободится от летнего льда к середине века Новая модель показала, что Арктика освободится от летнего льда к середине века

Что повлечет за собой таяние береговых льдов в Арктике?

ТехИнсайдер
Правда ли, что белок влияет на газообразование Правда ли, что белок влияет на газообразование

Протеин не является основным виновником вздутия и газообразования

ТехИнсайдер
Эпоха гиперсвязности: как защитить IT-активы и не стать жертвой кибератак Эпоха гиперсвязности: как защитить IT-активы и не стать жертвой кибератак

Как эффективные технологии стали опасностью для IT-индустрии

Forbes
Навязался гайморит. 4 неожиданные причины и способы лечения Навязался гайморит. 4 неожиданные причины и способы лечения

Что поможет отказаться от капель насовсем и начать дышать носом свободно?

Лиза
Porsche Cayenne первого поколения – отличный выбор для бездорожья Porsche Cayenne первого поколения – отличный выбор для бездорожья

Porsche Cayenne – отличный внедорожник для всех

4x4 Club
Космические университеты Юрия Гагарина Космические университеты Юрия Гагарина

Каким был вклад Юрия Гагарина в космонавтику

Наука и жизнь
От Lemonade до Renaissance: 5 лучших альбомов Бейонсе От Lemonade до Renaissance: 5 лучших альбомов Бейонсе

Альбомы, которые стоит послушать всем, кто хочет понять феномен «королевы Би»

Правила жизни
Итальянские протеи покинули пещеры ради охоты на червей Итальянские протеи покинули пещеры ради охоты на червей

Ранее считалось, что европейские протеи проводят под землей всю жизнь

N+1
Павианы анубисы переночевали на опорах ЛЭП Павианы анубисы переночевали на опорах ЛЭП

Ученые заметили несколько групп павианов анубисов, ночующих на опорах ЛЭП

N+1
Зумеры в России мечтают о раннем браке и большой семье: почему для них это важно Зумеры в России мечтают о раннем браке и большой семье: почему для них это важно

Почему одна из главных ценностей зумеров — создание собственной семьи?

Psychologies
Простые способы сохранить зелень свежей в холодильнике Простые способы сохранить зелень свежей в холодильнике

Эффективные способы продлить свежесть зелени

ТехИнсайдер
Аскар Ильясов Аскар Ильясов

Актер Аскар Ильясов переживает экзистенциальный кризис IT-миллионера

Собака.ru
«Близкие отказываются помогать с ребенком, ведь они не просили меня рожать»: история читательницы и комментарий психолога «Близкие отказываются помогать с ребенком, ведь они не просили меня рожать»: история читательницы и комментарий психолога

Почему семья может не поддерживать маму с ребенком? История читательницы

Psychologies
Женщины-амазонки, возможно, действительно существовали! Узнайте аргументы эксперта Женщины-амазонки, возможно, действительно существовали! Узнайте аргументы эксперта

При раскопках могил бронзового века обнаружили останки женщин-лучниц

ТехИнсайдер
Назальный спрей с блокатором калиевого канала облегчил ночное апноэ Назальный спрей с блокатором калиевого канала облегчил ночное апноэ

Селективный блокатор калиевого канала TASK 1/3 снижает тяжесть ночного апноэ

N+1
Абсурдизм поможет справиться с проблемами в жизни? Интересные факты об этой философии Абсурдизм поможет справиться с проблемами в жизни? Интересные факты об этой философии

Вот как объясняет человеческие метания философ Альбер Камю

ТехИнсайдер
Прокладывая путь: как София Ионеску стала первой в мире женщиной-нейрохирургом Прокладывая путь: как София Ионеску стала первой в мире женщиной-нейрохирургом

София Ионеску — первая женщина-врач, которая провела операцию на головном мозге

Forbes
Кокаин, связь с мафией и удар стулом: за что известные футболисты попадали в тюрьму Кокаин, связь с мафией и удар стулом: за что известные футболисты попадали в тюрьму

Самые известные истории футболистов, попадавших в тюрьму

Forbes
Автор «Вонгозера» Яна Вагнер о своем новом романе и самосбывающихся пророчествах Автор «Вонгозера» Яна Вагнер о своем новом романе и самосбывающихся пророчествах

Яна Вагнер — о триллере «Тоннель» и о том, как создавался этот роман

Forbes
ТОП-5 самых известных корейских автобрендов и их первые модели ТОП-5 самых известных корейских автобрендов и их первые модели

На мировом уровне корейский автопром заявил о себе лишь пару десятилетий назад

РБК
Иван Панфилов: «Дело, которым занимались родители, давалось им не только радостно и легко, но порой мучительно и трудно» Иван Панфилов: «Дело, которым занимались родители, давалось им не только радостно и легко, но порой мучительно и трудно»

Мама взяла за руку: «Ванюша, как же так? Ты поедешь в Гавану один?»

Коллекция. Караван историй
Лайфхаки весны Лайфхаки весны

Однообразие жизни кого угодно доведёт до ручки. С рутиной можно и нужно бороться

Здоровье
3 причины для измены: анализируем каждую 3 причины для измены: анализируем каждую

Почему партнеры изменяют друг другу? И что делать, если вам изменили?

Psychologies
Вместо таблетки Вместо таблетки

10 продуктов, которые лечат не хуже лекарств

Лиза
Заряд бодрости Заряд бодрости

Первый корпус новой модели из линейки GTX продемонстрировал неудержимый характер

Y Magazine
Что добавить в воду, чтобы быстро отмыть плиту: советы профессиональных клинеров Что добавить в воду, чтобы быстро отмыть плиту: советы профессиональных клинеров

Удаление жира с плиты — не самое увлекательное занятие. Что можно сделать?

VOICE
Сомнительно и о’кей. Худшие и лучшие соусы и сыры к картофелю фри Сомнительно и о’кей. Худшие и лучшие соусы и сыры к картофелю фри

Секреты вкусного картофеля фри: как подобрать соус и сыр

СНОБ
Женщины меняют Петербург Женщины меняют Петербург

«Собака.ru» вместе с Mercury благодарят петербурженок за их достижения

Собака.ru
Швейцарцы научили дрон насаживаться на стержни и переносить их по воздуху Швейцарцы научили дрон насаживаться на стержни и переносить их по воздуху

Инженеры разработали дрон-манипулятор, способный захватывать стержни и трубы

N+1
Инженер придумал сверхэффективную модульную печь для цементной промышленности Инженер придумал сверхэффективную модульную печь для цементной промышленности

На каждую тонну цемента в атмосферу выбрасывается 600 кг углекислого газа

Inc.
Открыть в приложении