Кажется, что у ИИ с лингвистикой не должно возникнуть проблем. Но так ли это?

Популярная механикаHi-Tech

Распознать любой ценой: как искусственный интеллект научился понимать арабский язык

Автор: Владимир Арлазаров, к.т.н., генеральный директор Smart Engines

Каждому из нас хотелось бы говорить на любом языке мира, не прилагая к этому никаких усилий. При этом мы примерно понимаем, что овладеть английским чуть легче, чем китайским, а испанским - легче, чем арабским. Кажется, что у искусственного интеллекта с лингвистикой вообще не должно возникнуть никаких проблем. Но так ли это на самом деле, расскажет Владимир Арлазаров, к.т.н., генеральный директор компании Smart Engines.

Самое интересное, что шкала сложности изучения языков действительного существует. Например, американский Институт зарубежной службы при Госдепе делит все языки на 4 категории в зависимости от того, сколько часов нужно носителям английского языка на их изучение до уровня свободного владения. Самые сложные языки — это арабский, китайский, корейский и японский, и на их изучение придется потратить не менее 2200 часов. Тогда как на испанский, к примеру, не более 600 часов.

В этой статье мы расскажем, допустимо ли считать арабский язык сложным для человека и искусственного интеллекта (спойлер — да), и почему распознавание арабской вязи — это отдельная ачивка для ИИ.

82100b993fd7d4121834fe92ff32874b.jpg

Что делает арабский таким сложным для человека?

Чтобы ответить на этот вопрос, достаточно вспомнить знаменитый анекдот:

— Ты француз?

— Да.

— О, а скажи что-нибудь на арабском?

Особенность номер один — это отсутствие единого арабского. Арабский язык является основным языком сразу во многих странах мира, что неизбежно ведет к возникновению различных местных диалектов, отличающихся друг от друга так же сильно, как русский от польского, и ни у одного из этих диалектов нет письменного варианта.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как ученые отправляют послания иным цивилизациям и сколько нам ждать ответа? Как ученые отправляют послания иным цивилизациям и сколько нам ждать ответа?

METI — попытки передачи межзвездных посланий

Популярная механика
Землетрясение назвали причиной гибели мужчины на Кипре более 1600 лет назад Землетрясение назвали причиной гибели мужчины на Кипре более 1600 лет назад

Этот мужчина погиб во время землетрясения в середине IV века нашей эры на Кипре

N+1
Как скопировать и вставить таблицу в Экселе Как скопировать и вставить таблицу в Экселе

Как скопировать таблицу в Эксель так, чтобы все осталось на своих местах

CHIP
Что посмотреть, пока не вышел новый сезон сериала «Игра в кальмара» Что посмотреть, пока не вышел новый сезон сериала «Игра в кальмара»

Фильмы и сериалы, которые идеально вписываются во вселенную «Игры в кальмара»

Maxim
Все мы не молодеем: 5 тестов для оценки скорости старения Все мы не молодеем: 5 тестов для оценки скорости старения

Простые тесты, которые помогут понять, насколько вы справляетесь со старением

ТехИнсайдер
Преждевременно побелевшие канадские зайцы не стали легкой добычей для хищников Преждевременно побелевшие канадские зайцы не стали легкой добычей для хищников

Американские беляки приобрели белую окраску до того, как выпал снег

N+1
Каким детям может быть полезна паллиативная помощь и как ее получить Каким детям может быть полезна паллиативная помощь и как ее получить

Паллиативная помощь нужна всем, чей срок ограничен из-за неизлечимой болезни

Psychologies
«Мама бросила меня. Но я все еще жду ее»: история отвергнутой дочери «Мама бросила меня. Но я все еще жду ее»: история отвергнутой дочери

Юлии тридцать лет, но она до сих пор ищет маму, которой она совсем не нужна

Psychologies
Объясняем на пальцах, кто такие Пересильд и Шипенко, и чего ждать от фильма «Вызов» Объясняем на пальцах, кто такие Пересильд и Шипенко, и чего ждать от фильма «Вызов»

Уже сейчас очевидно, что космический кинофильм «Вызов» никогда не окупится

Maxim
На воздушном шаре к Северному полюсу: самое безбашенное приключение в истории изучения Арктики На воздушном шаре к Северному полюсу: самое безбашенное приключение в истории изучения Арктики

Смертельно опасное путешествие Саломона Андре к Северному полюсу

Maxim
Посмотрите, что делается Посмотрите, что делается

Не секрет и не откровение: в наши дни сериалы — это новый черный

GQ
Как психологи справляются с утренним стрессом: 8 способов Как психологи справляются с утренним стрессом: 8 способов

Что делать, если вы проснулись с плохим настроением?

Psychologies
Когда носить телесные, а когда черные колготки: 9 правил, которые надо знать Когда носить телесные, а когда черные колготки: 9 правил, которые надо знать

Какие колготки надеть — вечный вопрос, ставящий миллионы девушек в тупик

Cosmopolitan
Решающий момент: почему третье свидание так важно и что на нем делать Решающий момент: почему третье свидание так важно и что на нем делать

то делать, чтобы не испортить третье свидание

Cosmopolitan
Вы из Вы из

В какие только сообщества ни объединялись пользователи Живого Журнала

Esquire
Сезонное предложение Сезонное предложение

Как скорректировать свой рацион поздней осенью

Лиза
19 безобразных архитектурных решений российских городов 19 безобразных архитектурных решений российских городов

Русская урбанистика, бессмысленная и беспощадная

Maxim
Опера — это весело? Какие постановки заставляли публику смеяться Опера — это весело? Какие постановки заставляли публику смеяться

Почему опера — это весело

РБК
Физики научились останавливать тяжелые нейтральные молекулы Физики научились останавливать тяжелые нейтральные молекулы

Физики смогли остановить и поймать в ловушки молекулы фторида стронция

N+1
Психологические факты, которые изменят вашу жизнь Психологические факты, которые изменят вашу жизнь

Знания об устройстве мозга помогут изменить жизнь к лучшему

Psychologies
Субфебрильная температура: что делать, когда держатся 37°С Субфебрильная температура: что делать, когда держатся 37°С

Что делать с температурой, если она поднялась выше 37 °С, но ниже 38 °С?

РБК
Гляциологи провели перепись кавказских ледников Гляциологи провели перепись кавказских ледников

Площадь оледенения Кавказа уменьшилась на четверть с начала века

N+1
Не врать, не прокрастинировать и не сдаваться: Пол Грэм о правилах усердного труда Не врать, не прокрастинировать и не сдаваться: Пол Грэм о правилах усердного труда

Пол Грэм: действительно ли успех невозможен без упорного труда?

Forbes
«Леша, ничего личного!» Дикие истории покупателей новых машин в России «Леша, ничего личного!» Дикие истории покупателей новых машин в России

От бешеных накруток до импульсивных покупок и попыток заработать на дефиците

РБК
Как быстро похудеть к важной дате: варианты диеты на несколько дней Как быстро похудеть к важной дате: варианты диеты на несколько дней

Если нужно прийти в форму быстро, на помощь придет диета на несколько дней

Cosmopolitan
Театральный продюсер Евгения Шерменева о творчестве в пандемию и театре в инстаграме Театральный продюсер Евгения Шерменева о творчестве в пандемию и театре в инстаграме

Театральный продюсер Евгения Шерменева — о театре, видео и дискретности времени

СНОБ
Как изменились Пименова, Блондо и другие самые красивые в мире девочки Как изменились Пименова, Блондо и другие самые красивые в мире девочки

Их называли самыми красивыми девочками в мире. Что же изменилось?

Cosmopolitan
История одной песни: Flash in the Night — Secret Service, 1981 История одной песни: Flash in the Night — Secret Service, 1981

История великого космического хита от шведских мальчиков

Maxim

Автобиография легендарного редактора журнала Vogue

Esquire
Киноварь приглянулась древним жителям Иберии в эпоху энеолита Киноварь приглянулась древним жителям Иберии в эпоху энеолита

Широкое использование киновари прекратилось лишь в эпоху ранней бронзы

N+1
Открыть в приложении