Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Шестое поколение Шестое поколение

За сетями 5G уже проступают контуры следующего поколения связи

Популярная механика
Почему нас пугает неопределенность Почему нас пугает неопределенность

Именно открытость к переменам помогает нам в итоге расти и добиваться успеха

Psychologies
Истребитель сбивает сам себя, и другие странные случаи гибели истребителей Истребитель сбивает сам себя, и другие странные случаи гибели истребителей

Истребитель может обидеть каждый!

Maxim
Уборка насмарку: 20 грубых ошибок, из-за которых в доме не станет чище Уборка насмарку: 20 грубых ошибок, из-за которых в доме не станет чище

Как правильно пользоваться чистящими средствами и не забывать о правилах

Cosmopolitan
«Это похоже не на войну, а на революцию». Тимур Бекмамбетов о том, как изменится кино и вся наша жизнь после эпидемии «Это похоже не на войну, а на революцию». Тимур Бекмамбетов о том, как изменится кино и вся наша жизнь после эпидемии

Тимур Бекмамбетов — о полной цифровизации мира и о своем новом фильме

Forbes
Джессика Альба и еще 6 актрис, которые предпочли съемкам семью Джессика Альба и еще 6 актрис, которые предпочли съемкам семью

Некоторые артисты решают поменять свою жизнь, несмотря на амбиции

РБК
Доктор из будущего Доктор из будущего

Как найти настоящего профессионала и как он поможет нам прожить больше ста лет

Vogue
Переехать в другую страну, состояться в карьере и найти себя: 6 лайфхаков Переехать в другую страну, состояться в карьере и найти себя: 6 лайфхаков

Как не ошибиться, правильно выбрать маршрут и справиться со всеми сложностями

Psychologies
Микропластик заставил рыб больше рожать Микропластик заставил рыб больше рожать

Микропластик вызывают у рыб повреждения, аневризмы и увеличивают количество икры

N+1
Остановить и не убить: как устроен травматический пистолет Остановить и не убить: как устроен травматический пистолет

Чтобы умело пользоваться травматическим оружием, надо понимать, как оно работает

Популярная механика
Субмарины США и СССР: самые лучшие проекты Субмарины США и СССР: самые лучшие проекты

Первоклассные проекты подводных лодок прошлого века

Популярная механика
Место бизнеса до 2036 года: какой сигнал послал Путин в интервью ТАСС Место бизнеса до 2036 года: какой сигнал послал Путин в интервью ТАСС

Дело малого бизнеса — обслуживать интересы крупных госкомпаний

Forbes
«Счастье — это когда ты просыпаешься, а рядом человек, которому ты будешь нужен всю жизнь»: подростки отвечают на недетские вопросы о любви, дружбе и счастье «Счастье — это когда ты просыпаешься, а рядом человек, которому ты будешь нужен всю жизнь»: подростки отвечают на недетские вопросы о любви, дружбе и счастье

Как не терять уверенности в себе несмотря ни на что

Esquire
Тут я бессилен: что такое синдром хронической усталости и как понять, что он у вас есть Тут я бессилен: что такое синдром хронической усталости и как понять, что он у вас есть

Разбираемся в проблеме, приумножаем внутренний ресурс

Esquire
«Мы уже шагнули в новую цифровую реальность» «Мы уже шагнули в новую цифровую реальность»

Интервью с председателем правления банка «Новый век» Вадимом Мартыновым

Forbes
7 лжеполезных перекусов 7 лжеполезных перекусов

Для перекусов мы всегда ищем что-нибудь полезное

Худеем правильно
10 самых здоровых стран мира 10 самых здоровых стран мира

Мы ждем лета, чтобы снова путешествовать по нашим любимым странам

GQ
Кто умнее: кошки или собаки Кто умнее: кошки или собаки

Кто же лучше - собаки, поддающиеся дрессуре, или кошки, хитрые манипуляторы?

Популярная механика
Маленькая хищница: как расплачиваются юные разлучницы Маленькая хищница: как расплачиваются юные разлучницы

Молодая любовница стареющего мужчины - отрицательный фольклорный персонаж

Cosmopolitan
8 вариантов лени и как ее победить в каждом случае 8 вариантов лени и как ее победить в каждом случае

Эта статья поможет выявить твой тип лени и избавиться от него

Maxim
Обвал, за который заплатят россияне: кто и зачем устроил мировой экономический кризис Обвал, за который заплатят россияне: кто и зачем устроил мировой экономический кризис

Выход России из соглашения ОПЕК+ принесет только негативные последствия

Forbes
7 фактов про самый красивый советский автомобиль — «Чайка» 7 фактов про самый красивый советский автомобиль — «Чайка»

Какая еще «Волга»? Бери выше!

Maxim
Свежий взгляд на банкротство: как отказ исполнить решение лондонского арбитража создал опасный прецедент Свежий взгляд на банкротство: как отказ исполнить решение лондонского арбитража создал опасный прецедент

Арбитражную практику ждет принципиальный разворот

Forbes
Проект беспилотных грузовиков Starsky Robotics с инвестициями фонда Дмитрия Гришина закрылся: что произошло и почему Проект беспилотных грузовиков Starsky Robotics с инвестициями фонда Дмитрия Гришина закрылся: что произошло и почему

Инвесторы разочаровались в рынке автономных автомобилей

VC.RU
10 отличных фильмов об эпидемиях: от Швеции до Японии, от 1950-х до наших дней 10 отличных фильмов об эпидемиях: от Швеции до Японии, от 1950-х до наших дней

Какое кино об эпидемиях снимали в разных странах в разные эпохи

Esquire
Как и с чем носить свитер оверсайз: 6 модных вариантов Как и с чем носить свитер оверсайз: 6 модных вариантов

Руководство по стилизации свитера оверсайз

Cosmopolitan
Тенерифе: подняться на вулкан и полюбить суккуленты Тенерифе: подняться на вулкан и полюбить суккуленты

«Остров вечной весны» Тенерифе создан для круглогодичных пешеходных прогулок

Yoga Journal
Спорт против улицы Спорт против улицы

Как «подсадить» ребенка на спорт

Русский репортер
Готовимся к лету! 7 простых советов, чтобы начать худеть прямо сейчас Готовимся к лету! 7 простых советов, чтобы начать худеть прямо сейчас

Простые лайфхаки, которые помогут без труда сбросить лишние килограммы

Cosmopolitan
Алкогений: Майкл Дуглас Алкогений: Майкл Дуглас

Напиваясь, Дуглас постепенно превращался в несмешную пародию на своих персонажей

Maxim
Открыть в приложении