Компания Meta выпустила языковую модель, которая понимает устную речь

N+1Hi-Tech

Нейросеть от Meta (признана экстремистской организацией на территории РФ) узнает 4017 языков по устной речи и ответит на 1107 из них

Она обучалась на библейских текстах

Виктория Земляк

036d47669be5b6a9ee36339f7fab444e.jpg
Torre de Babel (Вавилонская башня). Pieter Brueghel the Elder / Wikimedia Commons

Компания Meta (признана экстремистской организацией на территории РФ)* выпустила языковую модель, которая понимает устную речь. Она распознает более 4000 языков и может разговаривать на 1107 из них. Meta (признана экстремистской организацией на территории РФ) считает, что модель поможет сохранить языковое разнообразие в мире. Статья опубликована на сайте компании, код модели доступен на гитхабе.

*Деятельность компании Meta запрещена в России.

Обычно модели распознавания речи обучаются на больших объемах данных: им требуются тысячи часов аудиозаписей. При этом каждой записи должен соответствовать текст, чтобы модель научилась сопоставлять звучащую и письменную речь. Такие большие датасеты можно собрать только для популярных языков, на которых говорит много людей. Всего в мире существует около 7000 языков, но современные системы распознавания речи поддерживают не более 200 из них.

Команда инженеров из компании Meta (признана экстремистской организацией на территории РФ) под руководством Майкла Аули (Michael Auli) обучила большую модель для распознавания речи Massively Multilingual Speech (MMS), которая может общаться на 1107 языках и распознавать 4017. Нейросеть обучалась на религиозных записях. Исследователи собрали два датасета: один с аудиозаписями и соответствующими текстами и второй только с аудиозаписями.

fe065aa4c134af4b7f5dca22405e1e58.jpg
Карта языков, которые поддерживает модель. Фиолетовые и зеленые: определение языка, только фиолетовые: превращение речи в текст. Auli et al. / research.facebook, 2023

Первый датасет состоит из 55 тысяч аудиозаписей, на которых люди зачитывают вслух тексты из Нового Завета. Всего в Новом Завете 27 книг и 260 глав. Данные собирали из трех источников: Faith Comes By Hearing, GoTo.Bible и YouVersion. Во второй датасет попали 7,7 тысяч часов аудиозаписей с сайта Global Recordings Network: это религиозные песни, записи отрывков из Библии и других религиозных текстов.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Баба-слесарь и человек-жиза»: как блогеры «из народа» набирают миллионы просмотров и зарабатывают десятки тысяч рублей в TikTok «Баба-слесарь и человек-жиза»: как блогеры «из народа» набирают миллионы просмотров и зарабатывают десятки тысяч рублей в TikTok

Почему популярны блогеры, передающие ощущение реальной жизни?

Forbes
Поразительные паразиты Поразительные паразиты

Есть в паразитах и своя пугающая красота: они изящно манипулируют хозяевами

ТехИнсайдер
«Я была малолеткой, никто не желал мне помогать»: почему женщины идут в проституцию «Я была малолеткой, никто не желал мне помогать»: почему женщины идут в проституцию

Отрывок из книги Роберта Колкера «Исчезнувшие девушки»

Forbes
«Убывающий мир» «Убывающий мир»

Отрывок из книги «Убывающий мир» Алексея Конакова

N+1
В основании ассирийского зиккурата нашли прибалтийский янтарь. Его положили под стену 4000 лет назад В основании ассирийского зиккурата нашли прибалтийский янтарь. Его положили под стену 4000 лет назад

Такие древние находки янтаря так далеко от Балтики встречаются крайне редко

ТехИнсайдер
Проблемы с сексом, тайная любовница Гитлера на протяжении 16 лет и жена на 36 часов: тяжелая судьба красавицы Евы Браун Проблемы с сексом, тайная любовница Гитлера на протяжении 16 лет и жена на 36 часов: тяжелая судьба красавицы Евы Браун

Имя Гитлера на слуху у всех, но что нам известно про любовницу и жену?

ТехИнсайдер
Сейсмическую активность вулкана Йеллоустоун исполнят на рок-концерте! Послушали бы? Сейсмическую активность вулкана Йеллоустоун исполнят на рок-концерте! Послушали бы?

Ученые планируют создать «рок»-музыку, задействуя сейсмическую активность

ТехИнсайдер
От суфражисток до #MeToo: все, что нужно знать о четырех волнах женского движения От суфражисток до #MeToo: все, что нужно знать о четырех волнах женского движения

Женское движение за свою почти двухсотлетнюю историю прошло серьезную эволюцию

Forbes
Красивые, но малоизвестные внучки советских кинозвезд: как живут и чем занимаются Красивые, но малоизвестные внучки советских кинозвезд: как живут и чем занимаются

Их бабушки и дедушки были кумирами не одного поколения

VOICE
Не развлечения ради, а образования для: 15 самых живописных детских железных дорог России Не развлечения ради, а образования для: 15 самых живописных детских железных дорог России

Что такое детские железные дороги и зачем они нужны?

Вокруг света
Индустрия впечатлений: что такое авторские туры и кому они нужны Индустрия впечатлений: что такое авторские туры и кому они нужны

Как появились авторские туры и чем они примечательны

РБК
Трезвый подход к романтическим отношениям: советы коуча Трезвый подход к романтическим отношениям: советы коуча

Как разглядеть человека и не дать эмоциям заглушить голос разума?

Psychologies
Ленивцы против супербактерий: как тихони из тропических лесов помогут победить болезни человека? Ленивцы против супербактерий: как тихони из тропических лесов помогут победить болезни человека?

Как ленивцы могут помочь победить супербактерий?

Вокруг света
5 писателей-фронтовиков и их судьбы 5 писателей-фронтовиков и их судьбы

Как провели военные годы писатели-фронтовики и что их вдохновило?

Культура.РФ
Зачем на крыши автомобилей устанавливали огромные мешки? Зачем на крыши автомобилей устанавливали огромные мешки?

Огромные мешки на верхних багажниках автомобилей — топливные баки

Maxim
От Комсомольца и Большевика до Октябрьской революции: 10 самых больших островов России От Комсомольца и Большевика до Октябрьской революции: 10 самых больших островов России

Десять крупнейших островов России

Вокруг света
Добро с прибылью: чем импакт-стартапы отличаются от НКО и обычного бизнеса Добро с прибылью: чем импакт-стартапы отличаются от НКО и обычного бизнеса

Что такое социальные, или импакт-стартапы, какие у них есть перспективы

Forbes
Надо было просто умножить на 20: как ученые разгадали секрет «космического» календаря майя Надо было просто умножить на 20: как ученые разгадали секрет «космического» календаря майя

Ученые увидели, что древний календарь майя отражает синодические периоды планет

Вокруг света
Родителям на заметку! Разговор с младенцем влияет на силу нервных сигналов в мозге Родителям на заметку! Разговор с младенцем влияет на силу нервных сигналов в мозге

Ученые обнаружили связь между уровнями речи взрослых и младенческим «миелином»

ТехИнсайдер
Не весь зуд из-за плохой гигены! Вот почему хочется чесаться Не весь зуд из-за плохой гигены! Вот почему хочется чесаться

Существует ли беспричинный зуд?

ТехИнсайдер
Точка бифуркации: как еще могло закончиться Ледовое побоище Точка бифуркации: как еще могло закончиться Ледовое побоище

Каким был бы мир, если бы Александр Невский проиграл Ледовое побоище?

Вокруг света
Не имей сто рублей, а имей сто друзей и будь здоров: 7 причин, почему дружба так важна Не имей сто рублей, а имей сто друзей и будь здоров: 7 причин, почему дружба так важна

Зачем вообще нужны друзья?

ТехИнсайдер
Взгляд на север Взгляд на север

Элина Туктамишева: «До двадцати одного года я не знала Россию»

Новый очаг
От марафона желаний до уголовного дела: что случилось с Блиновской - рассказывает нумеролог От марафона желаний до уголовного дела: что случилось с Блиновской - рассказывает нумеролог

Почему Елена Блиновская так бесславно закончила свои сверхприбыльные марафоны?

VOICE
Зло под солнцем: что такое тропическая медицина и какие болезни представляют наибольшую угрозу для путешественников Зло под солнцем: что такое тропическая медицина и какие болезни представляют наибольшую угрозу для путешественников

Опасные заболевания постепенно осваивают умеренные широты

Вокруг света
Почему у Hyundai Creta есть будущее, а у Bentley Bentayga нет Почему у Hyundai Creta есть будущее, а у Bentley Bentayga нет

Автомобили повторяют судьбу мобильных телефонов

4x4 Club
«Звезды в полдень»: шпионская драма о любви журналистки и сотрудника спецслужб «Звезды в полдень»: шпионская драма о любви журналистки и сотрудника спецслужб

Шпионская драма с деколониальной оптикой получилась не слишком впечатляющей

Forbes
«Русалочка»: за что любят и ненавидят ремейк классического мультфильма Disney «Русалочка»: за что любят и ненавидят ремейк классического мультфильма Disney

Какой получилась новая версия «Русалочки» и стоит ли ждать от нее откровений?

Forbes
Почему болит голова: причины, симптомы и лечение Почему болит голова: причины, симптомы и лечение

Причин головной боли множество, и некоторые из них требуют обращения к врачу

ТехИнсайдер
Анна Рыжова Анна Рыжова

Путь Анны Рыжовой — образец для комиксиста

Правила жизни
Открыть в приложении