Компания Meta выпустила языковую модель, которая понимает устную речь

N+1Hi-Tech

Нейросеть от Meta (признана экстремистской организацией на территории РФ) узнает 4017 языков по устной речи и ответит на 1107 из них

Она обучалась на библейских текстах

Виктория Земляк

036d47669be5b6a9ee36339f7fab444e.jpg
Torre de Babel (Вавилонская башня). Pieter Brueghel the Elder / Wikimedia Commons

Компания Meta (признана экстремистской организацией на территории РФ)* выпустила языковую модель, которая понимает устную речь. Она распознает более 4000 языков и может разговаривать на 1107 из них. Meta (признана экстремистской организацией на территории РФ) считает, что модель поможет сохранить языковое разнообразие в мире. Статья опубликована на сайте компании, код модели доступен на гитхабе.

*Деятельность компании Meta запрещена в России.

Обычно модели распознавания речи обучаются на больших объемах данных: им требуются тысячи часов аудиозаписей. При этом каждой записи должен соответствовать текст, чтобы модель научилась сопоставлять звучащую и письменную речь. Такие большие датасеты можно собрать только для популярных языков, на которых говорит много людей. Всего в мире существует около 7000 языков, но современные системы распознавания речи поддерживают не более 200 из них.

Команда инженеров из компании Meta (признана экстремистской организацией на территории РФ) под руководством Майкла Аули (Michael Auli) обучила большую модель для распознавания речи Massively Multilingual Speech (MMS), которая может общаться на 1107 языках и распознавать 4017. Нейросеть обучалась на религиозных записях. Исследователи собрали два датасета: один с аудиозаписями и соответствующими текстами и второй только с аудиозаписями.

fe065aa4c134af4b7f5dca22405e1e58.jpg
Карта языков, которые поддерживает модель. Фиолетовые и зеленые: определение языка, только фиолетовые: превращение речи в текст. Auli et al. / research.facebook, 2023

Первый датасет состоит из 55 тысяч аудиозаписей, на которых люди зачитывают вслух тексты из Нового Завета. Всего в Новом Завете 27 книг и 260 глав. Данные собирали из трех источников: Faith Comes By Hearing, GoTo.Bible и YouVersion. Во второй датасет попали 7,7 тысяч часов аудиозаписей с сайта Global Recordings Network: это религиозные песни, записи отрывков из Библии и других религиозных текстов.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Через голову Через голову

Мы попробовали взглянуть на секс и оргазм глазами наших подруг

Men Today
Следствие ведут биохимики Следствие ведут биохимики

Здесь хранятся уникальные артефакты, связанные с событиями последних веков...

ТехИнсайдер
От Дании до Японии: пять главных коронаций монархов Европы и Азии за последние 50 лет От Дании до Японии: пять главных коронаций монархов Европы и Азии за последние 50 лет

Яркие церемонии восшествия на престол и пять действующих правителей

Forbes
Теломеры протеев удлинились с возрастом Теломеры протеев удлинились с возрастом

При постоянной температуре теломеры в клетках протея удлиняются с возрастом

N+1
70% россиян готовы к искусственному оплодотворению: результаты опроса о репродуктивном здоровье 70% россиян готовы к искусственному оплодотворению: результаты опроса о репродуктивном здоровье

Что россияне знают о репродуктивном здоровье?

Psychologies
Из маминой тени в леди-независимость: как менялся стиль Дакоты Джонсон - и чего ей это стоило Из маминой тени в леди-независимость: как менялся стиль Дакоты Джонсон - и чего ей это стоило

Вместе с профессиональным становлением Дакоты её стиль претерпевал изменения

VOICE
Московская вилла Московская вилла

Интерьер трёхуровневой квартиры в духе спокойной, интеллигентной классики

SALON-Interior
Катя Chepikk: «Стать большим артистом — это не мечта. Это мое предназначение» Катя Chepikk: «Стать большим артистом — это не мечта. Это мое предназначение»

Катя Chepikk не сомневается в своем успехе

ЖАРА Magazine
Пекинское время Пекинское время

Советские автомобили на выставках в Китае

Автопилот
BMW с мотором поперек. Тест-драйв Changan CS85 Coupe BMW с мотором поперек. Тест-драйв Changan CS85 Coupe

Первый тест и обзор нового китайского кроссовера Changan CS85 Coupe

РБК
Осваиваем Луну: кто побеждает в многолетней гонке за освоение спутника Земли Осваиваем Луну: кто побеждает в многолетней гонке за освоение спутника Земли

Кто станет лидером лунной гонки, ведь на пятки американцам наступает Китай?

ТехИнсайдер
«Да пребудет с тобой сила»: как сохранять равновесие в кризис — 10 стратегий «Да пребудет с тобой сила»: как сохранять равновесие в кризис — 10 стратегий

Эта стратегия может оказаться весьма полезной в трудной ситуации

Psychologies
Трон ждет: как выглядят наследники королевских семей со всего мира Трон ждет: как выглядят наследники королевских семей со всего мира

Как выглядят наследники трона и потомки монархов?

VOICE
Народные волнения: что такое геомагнитные бури и как они влияют на нашу жизнь Народные волнения: что такое геомагнитные бури и как они влияют на нашу жизнь

Чем они опасны и как геомагнитные поля влияют на человека

Forbes
Скайнет в эпоху киберпанка: книга о сверхразуме, написанная в соавторстве с ИИ Скайнет в эпоху киберпанка: книга о сверхразуме, написанная в соавторстве с ИИ

Отрывок из книги «Скайнет в эпоху киберпанка»

Forbes
«Напишите свой некролог»: Баффет дал советы инвесторам на ежегодном съезде Berkshire «Напишите свой некролог»: Баффет дал советы инвесторам на ежегодном съезде Berkshire

Уоррен Баффет — о том, как жить и тратить деньги с пользой

Forbes
Отступление авангарда Отступление авангарда

Как Николай Суетин и Илья Чашник оказались молодыми художниками не вовремя

Weekend
Косметический шум: что это такое и почему тебе давно пора от него избавиться Косметический шум: что это такое и почему тебе давно пора от него избавиться

Мы сталкиваемся с косметическим шумом ежедневно

VOICE
Залог здоровой жизни! Узнайте четыре привычки большинства долгожителей Залог здоровой жизни! Узнайте четыре привычки большинства долгожителей

Что нужно учесть, чтобы прожить долгую и здоровую жизнь?

ТехИнсайдер
Ничья девочка Ничья девочка

Кем была Елизавета Григорьевна Тёмкина?

Дилетант
Поразительные паразиты Поразительные паразиты

Есть в паразитах и своя пугающая красота: они изящно манипулируют хозяевами

ТехИнсайдер
Что происходит с телом, когда мы пропускаем приемы пищи Что происходит с телом, когда мы пропускаем приемы пищи

Как организм реагирует на пропущенный прием пищи психически и физически

ТехИнсайдер
7 книг нобелевских лауреатов по литературе 7 книг нобелевских лауреатов по литературе

Книги, отмеченные шведскими академиками

СНОБ
Легенды без награды: ты удивишься, узнав, что эти звезды первой величины никогда не получали Легенды без награды: ты удивишься, узнав, что эти звезды первой величины никогда не получали

Собрали несколько ярких примеров актеров, которые так и не получили «Оскар»

VOICE
«Амбассадор слепых»: как незрячий программист стал путешественником и популярным блогером «Амбассадор слепых»: как незрячий программист стал путешественником и популярным блогером

Этого человека совсем не пугают «дизлайки за слепоту»

Вокруг света
Почему футболисты получают так много денег? Почему футболисты получают так много денег?

Почему футболисты так много зарабатывают? Объяснение от банка Великобритании

Maxim
Почему нелюбимые дочери не могут завести подруг: 5 проблем из детства — освободитесь от травм Почему нелюбимые дочери не могут завести подруг: 5 проблем из детства — освободитесь от травм

Как поведение родителей мешает строить доверительные отношения с другими людьми

Psychologies
Великий грааль Антарктиды: как российские ученые пытаются проникнуть в тайны подледного озера Восток Великий грааль Антарктиды: как российские ученые пытаются проникнуть в тайны подледного озера Восток

Существует ли жизнь в озере Восток?

Вокруг света
Транспорт будущего Транспорт будущего

Вот уже шесть лет мы пишем про летающие автомобили и стоим рядом с прототипами

ТехИнсайдер
«Внимание! Говорит Москва!»: почему Гитлер всем сердцем ненавидел Юрия Левитана? «Внимание! Говорит Москва!»: почему Гитлер всем сердцем ненавидел Юрия Левитана?

Никто еще не знал, что вскоре этот зычный голос будут слушать миллионы людей

ТехИнсайдер
Открыть в приложении