Компания Meta выпустила языковую модель, которая понимает устную речь

N+1Hi-Tech

Нейросеть от Meta (признана экстремистской организацией на территории РФ) узнает 4017 языков по устной речи и ответит на 1107 из них

Она обучалась на библейских текстах

Виктория Земляк

036d47669be5b6a9ee36339f7fab444e.jpg
Torre de Babel (Вавилонская башня). Pieter Brueghel the Elder / Wikimedia Commons

Компания Meta (признана экстремистской организацией на территории РФ)* выпустила языковую модель, которая понимает устную речь. Она распознает более 4000 языков и может разговаривать на 1107 из них. Meta (признана экстремистской организацией на территории РФ) считает, что модель поможет сохранить языковое разнообразие в мире. Статья опубликована на сайте компании, код модели доступен на гитхабе.

*Деятельность компании Meta запрещена в России.

Обычно модели распознавания речи обучаются на больших объемах данных: им требуются тысячи часов аудиозаписей. При этом каждой записи должен соответствовать текст, чтобы модель научилась сопоставлять звучащую и письменную речь. Такие большие датасеты можно собрать только для популярных языков, на которых говорит много людей. Всего в мире существует около 7000 языков, но современные системы распознавания речи поддерживают не более 200 из них.

Команда инженеров из компании Meta (признана экстремистской организацией на территории РФ) под руководством Майкла Аули (Michael Auli) обучила большую модель для распознавания речи Massively Multilingual Speech (MMS), которая может общаться на 1107 языках и распознавать 4017. Нейросеть обучалась на религиозных записях. Исследователи собрали два датасета: один с аудиозаписями и соответствующими текстами и второй только с аудиозаписями.

fe065aa4c134af4b7f5dca22405e1e58.jpg
Карта языков, которые поддерживает модель. Фиолетовые и зеленые: определение языка, только фиолетовые: превращение речи в текст. Auli et al. / research.facebook, 2023

Первый датасет состоит из 55 тысяч аудиозаписей, на которых люди зачитывают вслух тексты из Нового Завета. Всего в Новом Завете 27 книг и 260 глав. Данные собирали из трех источников: Faith Comes By Hearing, GoTo.Bible и YouVersion. Во второй датасет попали 7,7 тысяч часов аудиозаписей с сайта Global Recordings Network: это религиозные песни, записи отрывков из Библии и других религиозных текстов.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Фрейд, которого мы не знали Фрейд, которого мы не знали

Каким был Зигмунд Фрейд в кругу семьи и близких друзей

Psychologies
Акулы-молоты задержали дыхание ради сохранения тепла на глубине Акулы-молоты задержали дыхание ради сохранения тепла на глубине

Акулы-молоты закрыли жаберные щели, чтобы тепло не уходило через жабры

N+1
Почему среди 50 самых высокооплачиваемых спортсменов мира оказалась лишь одна женщина Почему среди 50 самых высокооплачиваемых спортсменов мира оказалась лишь одна женщина

Спортсменкам догнать коллег-мужчин не позволяют более низкие зарплаты

Forbes
Женщина написала книгу, горюя об усопшем муже. Полиция выяснила, что она же и убила его! Женщина написала книгу, горюя об усопшем муже. Полиция выяснила, что она же и убила его!

Коури Ричинс старательно играла скорбящую вдовы, будучи убийцей

ТехИнсайдер
Австралийские муравьи притворились мертвыми всей колонией Австралийские муравьи притворились мертвыми всей колонией

Зоологи обнаружили муравьев, которые притворяются мертвыми всей колонией

N+1
Думайте меньше! Необычная причина боли в шее и пояснице: стоит узнать Думайте меньше! Необычная причина боли в шее и пояснице: стоит узнать

Как когнитивный диссонанс приводит к дополнительному давлению на шею и поясницу?

ТехИнсайдер
Регина Тодоренко: «Чувствую себя под крылом большой птицы, которая летит вверх, покоряя новые высоты» Регина Тодоренко: «Чувствую себя под крылом большой птицы, которая летит вверх, покоряя новые высоты»

Регина Тодоренко — о съемках в «Орел и решка» и новых тревел-проектах

Караван историй
Как развивается российская гостиничная индустрия Как развивается российская гостиничная индустрия

Как гостиницы приспособились к новой реальности?

РБК
Андрей Вознесенский: «Ностальгия по настоящему. Хронометраж эпохи». Отрывок из мемуаров Андрей Вознесенский: «Ностальгия по настоящему. Хронометраж эпохи». Отрывок из мемуаров

Глава из сборника прозы поэта Андрея Вознесенского

СНОБ
«Дон Масимо»: Максим Горький на Капри «Дон Масимо»: Максим Горький на Капри

Как жил знаменитый писатель Максим Горький в Италии?

Караван историй
Ни в коем случае не выбрасывайте их! 5 гениальных идей, как использовать ключи-кольца от жестяных банок в быту Ни в коем случае не выбрасывайте их! 5 гениальных идей, как использовать ключи-кольца от жестяных банок в быту

«Ушки» банок действительно могут пригодиться в быту — ловите 5 идей!

ТехИнсайдер
Компрессионный трикотаж: 3 правила правильного выбора Компрессионный трикотаж: 3 правила правильного выбора

Как снизить риски проявления варикоза?

Psychologies
В доме мечты В доме мечты

Пространство на стыке классических традиций, современности и любви к искусству

SALON-Interior
Зеленая мечта идиота Зеленая мечта идиота

Если вы мечтали владеть старой отечественной машиной – вам сюда

Автопилот
Правда ли, что соль для ванн может влиять на здоровье Правда ли, что соль для ванн может влиять на здоровье

Работает ли на самом деле соль для ванн?

ТехИнсайдер
«Отсутствие диалога между поколениями в прямом смысле слова убивает» «Отсутствие диалога между поколениями в прямом смысле слова убивает»

Алиса Хазанова о своем фильме «Белый список»

Weekend
Вернуть себе силы Вернуть себе силы

О чем нам стоит знать, чтобы справиться с проживанием печали и страданий?

Psychologies
Что носить в конце весны: 5 идей от героев стритстайла Что носить в конце весны: 5 идей от героев стритстайла

Модные приемы, которые одинаково подойдут и мужчинам, и женщинам

Правила жизни
Как наши достоинства превращаются в недостатки: 3 примера Как наши достоинства превращаются в недостатки: 3 примера

Три примера того, как достоинства могут превращаться в недостатки

Psychologies
Максим Матвеев: «Когда у меня появляется цель, мне абсолютно по барабану, как другие к этому отнесутся» Максим Матвеев: «Когда у меня появляется цель, мне абсолютно по барабану, как другие к этому отнесутся»

Максим Матвеев про правила счастья, смысл профессии и постельные сцены

Maxim
Враги-государства Враги-государства

Звезда «Игры в кальмара» дебютирует в качестве режиссера со шпионским боевиком

Weekend
Окрашивание шатуш: варианты, подходящие цвета и уход за волосами Окрашивание шатуш: варианты, подходящие цвета и уход за волосами

Шатуш — один из самых известных вариантов окрашивания

РБК
Радиошум земных вышек мобильной связи оказался недоступен для обнаружения с ближайших звезд Радиошум земных вышек мобильной связи оказался недоступен для обнаружения с ближайших звезд

Утечка излучения от вышек мобильной связи на Земле не может быть обнаружена

N+1
ИИ не может отличить текст, написанный человеком, от текста, созданного ИИ ИИ не может отличить текст, написанный человеком, от текста, созданного ИИ

Объем текстов, созданных ИИ, становится слишком большим

ТехИнсайдер
Робопчелу научили контролировать рысканье Робопчелу научили контролировать рысканье

Инженеры разработали прототип миниатюрного орнитоптера под названием Bee++

N+1
Иммунолог о вспышке птичьего гриппа в Москве Иммунолог о вспышке птичьего гриппа в Москве

Что за болезнь птичий грипп и опасна ли она для человека

СНОБ
Охота на ведьм: за что женщин отправляли на костры и причем тут рыжие и красивые Охота на ведьм: за что женщин отправляли на костры и причем тут рыжие и красивые

За что невинных женщин бросали в темницы, пытали и сжигали на кострах

Forbes
Устремленные в небо: посмотрите на 10 самых высоких памятников в России Устремленные в небо: посмотрите на 10 самых высоких памятников в России

10 самых высоких памятников нашей страны

Вокруг света
Как перестать бороться с сорняками и превратить врага в союзника Как перестать бороться с сорняками и превратить врага в союзника

Ещё вчера трава была вашим врагом, а сегодня это ваш друг и лучший помощник!

Наука и жизнь
Как эволюционная случайность навсегда изменила мозг человека: один шанс на миллион Как эволюционная случайность навсегда изменила мозг человека: один шанс на миллион

Почему ДНК людей за короткий эволюционный промежуток времени вдруг изменилась?

ТехИнсайдер
Открыть в приложении