Компания Meta выпустила языковую модель, которая понимает устную речь

N+1Hi-Tech

Нейросеть от Meta (признана экстремистской организацией на территории РФ) узнает 4017 языков по устной речи и ответит на 1107 из них

Она обучалась на библейских текстах

Виктория Земляк

036d47669be5b6a9ee36339f7fab444e.jpg
Torre de Babel (Вавилонская башня). Pieter Brueghel the Elder / Wikimedia Commons

Компания Meta (признана экстремистской организацией на территории РФ)* выпустила языковую модель, которая понимает устную речь. Она распознает более 4000 языков и может разговаривать на 1107 из них. Meta (признана экстремистской организацией на территории РФ) считает, что модель поможет сохранить языковое разнообразие в мире. Статья опубликована на сайте компании, код модели доступен на гитхабе.

*Деятельность компании Meta запрещена в России.

Обычно модели распознавания речи обучаются на больших объемах данных: им требуются тысячи часов аудиозаписей. При этом каждой записи должен соответствовать текст, чтобы модель научилась сопоставлять звучащую и письменную речь. Такие большие датасеты можно собрать только для популярных языков, на которых говорит много людей. Всего в мире существует около 7000 языков, но современные системы распознавания речи поддерживают не более 200 из них.

Команда инженеров из компании Meta (признана экстремистской организацией на территории РФ) под руководством Майкла Аули (Michael Auli) обучила большую модель для распознавания речи Massively Multilingual Speech (MMS), которая может общаться на 1107 языках и распознавать 4017. Нейросеть обучалась на религиозных записях. Исследователи собрали два датасета: один с аудиозаписями и соответствующими текстами и второй только с аудиозаписями.

fe065aa4c134af4b7f5dca22405e1e58.jpg
Карта языков, которые поддерживает модель. Фиолетовые и зеленые: определение языка, только фиолетовые: превращение речи в текст. Auli et al. / research.facebook, 2023

Первый датасет состоит из 55 тысяч аудиозаписей, на которых люди зачитывают вслух тексты из Нового Завета. Всего в Новом Завете 27 книг и 260 глав. Данные собирали из трех источников: Faith Comes By Hearing, GoTo.Bible и YouVersion. Во второй датасет попали 7,7 тысяч часов аудиозаписей с сайта Global Recordings Network: это религиозные песни, записи отрывков из Библии и других религиозных текстов.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Жизнь от кутюр: как Валентин Юдашкин стал главным модельером России Жизнь от кутюр: как Валентин Юдашкин стал главным модельером России

Какую роль сыграл Валентин Юдашкин в советско-российской моде

Forbes
Токсично или отлично? Токсично или отлично?

По каким признакам распознать здоровые отношения и как их построить?

Лиза
Правила жизни Ильи Кабакова Правила жизни Ильи Кабакова

Правила жизни советского и американского художника-концептуалиста Ильи Кабакова

Правила жизни
Маленькие хитрости: манипуляция, которой ты не замечаешь Маленькие хитрости: манипуляция, которой ты не замечаешь

Есть слова, похожие на крошечные крючки

VOICE
«Ньюмба» уходит в отрыв «Ньюмба» уходит в отрыв

Nyumba стала для южноафриканской верфи Southern Wind важной вехой

Y Magazine
Российские сериалы с самыми откровенными сценами Российские сериалы с самыми откровенными сценами

6 самых откровенных российских сериалов

Maxim
Жизнь сов: почему мы любим ночь Жизнь сов: почему мы любим ночь

Чем привлекает нас романтика темного времени суток?

Psychologies
Просто космос Просто космос

Юлия Пересильд — о “вызове” в кино и вызовах в жизни

Men Today
От медосмотра до послеполетных работ: из чего складывается рабочий день бортпроводника От медосмотра до послеполетных работ: из чего складывается рабочий день бортпроводника

О подготовке к рейсу и обязанностях бортпроводников

ТехИнсайдер
Острые психические расстройства: каковы факторы риска Острые психические расстройства: каковы факторы риска

Обстоятельства, которые могут увеличить вероятность психических заболеваний

Psychologies
Розацеа: как справиться с заболеванием и вернуть красоту Розацеа: как справиться с заболеванием и вернуть красоту

Имеются ли способы эффективной борьбы с розацеа?

Psychologies
Почему женщины ненавидят друг друга: 3 причины Почему женщины ненавидят друг друга: 3 причины

Что побуждает женщин соревноваться друг с другом — даже при хороших отношениях?

Psychologies
Роман Мурадов Роман Мурадов

Роман Мурадов сочетает оригинальную рисовку с литературностью

Правила жизни
70% россиян готовы к искусственному оплодотворению: результаты опроса о репродуктивном здоровье 70% россиян готовы к искусственному оплодотворению: результаты опроса о репродуктивном здоровье

Что россияне знают о репродуктивном здоровье?

Psychologies
Какие тайны скрывают названия автопроизводителей Какие тайны скрывают названия автопроизводителей

Времена, когда компании брали фамилию основателя, давно прошли

4x4 Club
Сатурн вновь стал лидером Солнечной системы по числу спутников. Теперь их больше ста Сатурн вновь стал лидером Солнечной системы по числу спутников. Теперь их больше ста

Открыто 28 новых спутников Сатурна

N+1
5 увлекательных комиксов, по которым были сняты фильмы и сериалы 5 увлекательных комиксов, по которым были сняты фильмы и сериалы

Традиция экранизировать комиксы существует уже очень давно

Maxim
Мнение Microsoft: вот что больше всего отвлекает на работе и ухудшает продуктивность Мнение Microsoft: вот что больше всего отвлекает на работе и ухудшает продуктивность

Что мешает людям быть эффективными?

ТехИнсайдер
Начать питаться осознанно Начать питаться осознанно

Как использовать приложения для тренировки сознательного пищевого поведения

Psychologies
Мобилизация по-екатеринински Мобилизация по-екатеринински

Как беспрецедентный рекрутский набор помог России в войне с Турцией

Дилетант
Рак, разводы и изнасилования: страшные судьбы актрис из сериала Рак, разводы и изнасилования: страшные судьбы актрис из сериала

Как сложились жизни актрис из "Зачарованных", и как они выглядят сейчас?

VOICE
Вот почему с годами кажется, что время идет быстрее! А вы это замечали? Вот почему с годами кажется, что время идет быстрее! А вы это замечали?

Восприятие времени сильно меняется по мере старения

ТехИнсайдер
«Стоит ли возвращаться к бывшему партнеру?»: 3 простых напоминания тем, кто сомневается «Стоит ли возвращаться к бывшему партнеру?»: 3 простых напоминания тем, кто сомневается

Когда прошлое зовет, не отвечайте, оно не скажет ничего нового

Psychologies
Подсудное дело: первый обвиняемый по «закону Родченкова» признал свою вину Подсудное дело: первый обвиняемый по «закону Родченкова» признал свою вину

Forbes.Спорт рассказывает о первом в истории деле по антидопинговому закону

Forbes
Изящная сирень Изящная сирень

Как ухаживать за сиренью?

Лиза
Странные факты о саке, которое вовсе не водка Странные факты о саке, которое вовсе не водка

Саке премиального качества появилось только во второй половине XX века

Maxim
Инженеры сделали полностью мягкий электродвигатель Инженеры сделали полностью мягкий электродвигатель

Этот электродвигатель можно сдавливать и растягивать во время работы

N+1
Как правильно стирать кожаную одежду, чтобы не повредить материал: 5 простых правил Как правильно стирать кожаную одежду, чтобы не повредить материал: 5 простых правил

Как постирать кожаную куртку, штаны и кроссовки дома без вреда для материала

ТехИнсайдер
Катя Chepikk: «Стать большим артистом — это не мечта. Это мое предназначение» Катя Chepikk: «Стать большим артистом — это не мечта. Это мое предназначение»

Катя Chepikk не сомневается в своем успехе

ЖАРА Magazine
Силу острой и хронической боли вычислили по работе коры больших полушарий Силу острой и хронической боли вычислили по работе коры больших полушарий

Оказалось, что с двумя типами боли связаны разные зоны коры мозга

N+1
Открыть в приложении