Компания Meta выпустила языковую модель, которая понимает устную речь

N+1Hi-Tech

Нейросеть от Meta (признана экстремистской организацией на территории РФ) узнает 4017 языков по устной речи и ответит на 1107 из них

Она обучалась на библейских текстах

Виктория Земляк

036d47669be5b6a9ee36339f7fab444e.jpg
Torre de Babel (Вавилонская башня). Pieter Brueghel the Elder / Wikimedia Commons

Компания Meta (признана экстремистской организацией на территории РФ)* выпустила языковую модель, которая понимает устную речь. Она распознает более 4000 языков и может разговаривать на 1107 из них. Meta (признана экстремистской организацией на территории РФ) считает, что модель поможет сохранить языковое разнообразие в мире. Статья опубликована на сайте компании, код модели доступен на гитхабе.

*Деятельность компании Meta запрещена в России.

Обычно модели распознавания речи обучаются на больших объемах данных: им требуются тысячи часов аудиозаписей. При этом каждой записи должен соответствовать текст, чтобы модель научилась сопоставлять звучащую и письменную речь. Такие большие датасеты можно собрать только для популярных языков, на которых говорит много людей. Всего в мире существует около 7000 языков, но современные системы распознавания речи поддерживают не более 200 из них.

Команда инженеров из компании Meta (признана экстремистской организацией на территории РФ) под руководством Майкла Аули (Michael Auli) обучила большую модель для распознавания речи Massively Multilingual Speech (MMS), которая может общаться на 1107 языках и распознавать 4017. Нейросеть обучалась на религиозных записях. Исследователи собрали два датасета: один с аудиозаписями и соответствующими текстами и второй только с аудиозаписями.

fe065aa4c134af4b7f5dca22405e1e58.jpg
Карта языков, которые поддерживает модель. Фиолетовые и зеленые: определение языка, только фиолетовые: превращение речи в текст. Auli et al. / research.facebook, 2023

Первый датасет состоит из 55 тысяч аудиозаписей, на которых люди зачитывают вслух тексты из Нового Завета. Всего в Новом Завете 27 книг и 260 глав. Данные собирали из трех источников: Faith Comes By Hearing, GoTo.Bible и YouVersion. Во второй датасет попали 7,7 тысяч часов аудиозаписей с сайта Global Recordings Network: это религиозные песни, записи отрывков из Библии и других религиозных текстов.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

4 способа подкатить, которые пугают женщин (не делай так, бро) 4 способа подкатить, которые пугают женщин (не делай так, бро)

Показаться криповым иногда проще, чем кажется

Playboy
Опасный перекресток Опасный перекресток

Перекрестная аллергия: что это такое и как её избежать?

Лиза
Млечный путь Млечный путь

Свиньи и дельфины — близкие родственники, а лошадь роднее собаке, чем корове

Вокруг света
Слайд-шоу Слайд-шоу

Космические корабли, инновационные мотоциклы и складные дома

ТехИнсайдер
Синдром «пустого костюма»: почему традиционный карьерный рост подходит не всем Синдром «пустого костюма»: почему традиционный карьерный рост подходит не всем

Почему опасно игнорировать модели современного лидерства?

Forbes
Хоббит, Карлсон и Винни-Пух: 100 лучших детских книг всех времен по версии Би-би-си Хоббит, Карлсон и Винни-Пух: 100 лучших детских книг всех времен по версии Би-би-си

Первая десятка рейтинга лучших детских книг от Би-би-си

Forbes
Охота на ведьм: за что женщин отправляли на костры и причем тут рыжие и красивые Охота на ведьм: за что женщин отправляли на костры и причем тут рыжие и красивые

За что невинных женщин бросали в темницы, пытали и сжигали на кострах

Forbes
Темная материя ведет себя не как частица, а скорее как волна Темная материя ведет себя не как частица, а скорее как волна

Как именно ведут себя элементы таинственной «темной материи»

ТехИнсайдер
Палеонтологи обнаружили остатки древнейших птерозавров Австралии Палеонтологи обнаружили остатки древнейших птерозавров Австралии

Австралийские палеонтологи изучили два ископаемых образца

N+1
На таких пахать надо На таких пахать надо

Как в 1950-х молодежь ездила пахать и сеять в степях Казахстана

Автопилот
Астрономы нашли прародителя двойной системы черных дыр в соседней галактике Астрономы нашли прародителя двойной системы черных дыр в соседней галактике

Астрономы нашли теснаую двойную систему очень массивных звезд

N+1
«Мне потребовалось много времени, чтобы вернуться в реальность»: Том Холланд и Дуэйн Джонсон рассказали о своем опыте проблем с психическим здоровьем «Мне потребовалось много времени, чтобы вернуться в реальность»: Том Холланд и Дуэйн Джонсон рассказали о своем опыте проблем с психическим здоровьем

Том Холланд и Дуэйн Джонсон рассказали о проблемах с психическим здоровьем

Правила жизни
Дмитрий Шепелев нашел работу на телевидении, опровергнув слух о продаже наследства Жанны Фриске Дмитрий Шепелев нашел работу на телевидении, опровергнув слух о продаже наследства Жанны Фриске

На что живет Дмитрий Шепелев?

VOICE
Как совместить карьеру и материнство: система полезных привычек Как совместить карьеру и материнство: система полезных привычек

Какие привычки помогут вам не выгореть от материнства?

Psychologies
Поддерживать, но не потакать: как помочь близкому, страдающему зависимостью Поддерживать, но не потакать: как помочь близкому, страдающему зависимостью

Важно четко осознать разницу между поддержкой зависимого человека и потаканием

Psychologies
Ильдар Абузяров: «Корабль Тесея. Черно-белый роман» Ильдар Абузяров: «Корабль Тесея. Черно-белый роман»

Отрывок из книги «Корабль Тесея. Черно-белый роман» Ильдара Абузярова

СНОБ
Идеальный партнер: в чем опасность мифа о единственном подходящем человеке — ответ ученых Идеальный партнер: в чем опасность мифа о единственном подходящем человеке — ответ ученых

Существует ли на свете идеальный партнер?

Psychologies
Из грязи в графини. О фильме открытия Каннского кинофестиваля «Жанна Дюбарри» Из грязи в графини. О фильме открытия Каннского кинофестиваля «Жанна Дюбарри»

О том, почему возвращение Деппа на экран нельзя назвать удачным

СНОБ
Ресторан Центрального дома литераторов: история, легенды, гастрономия Ресторан Центрального дома литераторов: история, легенды, гастрономия

Ресторан ЦДЛ на Поварской — место уникальное

СНОБ
Шалый барин добыл «Золотое руно»: как Николай Рябушинский вошел в историю искусств Шалый барин добыл «Золотое руно»: как Николай Рябушинский вошел в историю искусств

Один из фрагментов книги Любови Агафоновой о Николае Рябушинском

Forbes
«Да пребудет с тобой сила»: как сохранять равновесие в кризис — 10 стратегий «Да пребудет с тобой сила»: как сохранять равновесие в кризис — 10 стратегий

Эта стратегия может оказаться весьма полезной в трудной ситуации

Psychologies
Пять болевых точек российских финансов: что тревожит ЦБ и аналитиков Пять болевых точек российских финансов: что тревожит ЦБ и аналитиков

Банк России назвал пять главных уязвимостей финансового сектора России

Forbes
Outlook: как настроить автоответчик на время отпуска? Outlook: как настроить автоответчик на время отпуска?

Настраиваем автоответ на входящие сообщения в Microsoft Outlook

CHIP
Когда дрожит и горит земля Когда дрожит и горит земля

Чем грозят недавние извержения на Камчатке? Что наука знает о вулканах?

Эксперт
Ученые покопались в архивах музея и нашли неопознанные останки Ученые покопались в архивах музея и нашли неопознанные останки

Сотрудники музея обнаружили в архивах останки плиозавра

ТехИнсайдер
«Меня ударили деньгами по лицу»: как беженец из Камеруна меняет правила в ММА «Меня ударили деньгами по лицу»: как беженец из Камеруна меняет правила в ММА

Почему соглашение Фрэнсиса с PFL может изменить правила игры в ММА

Forbes
Как распознать детскую травму по поведению человека: 9 признаков Как распознать детскую травму по поведению человека: 9 признаков

Травма детства способна определять привычки и поведение во взрослой жизни

Psychologies
Серебро для браслетов царицы Хетепхерес добыли на Кикладских островах Серебро для браслетов царицы Хетепхерес добыли на Кикладских островах

Египтологи изучили находки, сделанные почти сто лет назад

N+1
6 книг в жанре фэнтези, от которых невозможно оторваться 6 книг в жанре фэнтези, от которых невозможно оторваться

Книги жанра фэнтези, которые ценители не должны оставить без внимания

ТехИнсайдер
Жизнь от кутюр: как Валентин Юдашкин стал главным модельером России Жизнь от кутюр: как Валентин Юдашкин стал главным модельером России

Какую роль сыграл Валентин Юдашкин в советско-российской моде

Forbes
Открыть в приложении