Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мозг, память и чтение: как стать умнее и знать больше других Мозг, память и чтение: как стать умнее и знать больше других

Ученые сделали вывод, что объем памяти мозга человека составляет 1 петабайт

Популярная механика
Владимир В. Видеманн: Последнее десятилетие СССР глазами мистической богемы Владимир В. Видеманн: Последнее десятилетие СССР глазами мистической богемы

Отрывок из новой книги писателя и историка Владимира В. Видеманна

СНОБ
Дофаминовая диета: почему она спасёт от выгорания и придаст сил Дофаминовая диета: почему она спасёт от выгорания и придаст сил

Ты чувствуешь себя настолько уставшей, что не помогают ни кофе ни даже отпуск?

Cosmopolitan
10 вариантов позднего ужина, которые помогут похудеть 10 вариантов позднего ужина, которые помогут похудеть

Есть продукты, которые не только можно, но и нужно есть на ночь

Cosmopolitan
Я к ним ни ногой! Я к ним ни ногой!

Некоторые люди панически боятся людей в белых халатах

Лиза
Голый Тимоти Шаламе в ванной, Леа Сейду в форме с пистолетом: разбираем постер нового фильма Уэса Андерсона «Французский диспетчер» Голый Тимоти Шаламе в ванной, Леа Сейду в форме с пистолетом: разбираем постер нового фильма Уэса Андерсона «Французский диспетчер»

От отсылок к журналу The New Yorker до побочных сюжетных линий и классики кино

Esquire
Яйцо высшей категории Яйцо высшей категории

Мистика и символика пасхального яйца — писанки

Вокруг света
Виктор Вексельберг: «Сколково» открыто для тех, кто приближает будущее Виктор Вексельберг: «Сколково» открыто для тех, кто приближает будущее

Интервью с президентом фонда «Сколково» Виктором Вексельбергом

СНОБ
Как бывший автогонщик и трейдер из России продал стартап лидеру мирового рынка Как бывший автогонщик и трейдер из России продал стартап лидеру мирового рынка

Сооснователь стартапа Busfor Илья Екушевский о том, зачем продавать дело жизни

Forbes
Вопросы на засыпку Вопросы на засыпку

Найдите ответы на пять простых, но каверзных вопросов, призвав на помощь логику

Наука и жизнь
Боитесь быть «плохим родителем?» 9 вопросов для проверки Боитесь быть «плохим родителем?» 9 вопросов для проверки

Бедные мамы и папы — вечно им приходится сталкиваться с критикой

Psychologies
Ужас Амитвилля и кукла Аннабель: самые страшные дела Эда и Лоррейн Уоррен Ужас Амитвилля и кукла Аннабель: самые страшные дела Эда и Лоррейн Уоррен

Супруги Уоррены, пожалуй, самые известные исследователи паранормального в мире

Cosmopolitan
Влад Листьев и Борис Немцов. Возвращение на ТВ Влад Листьев и Борис Немцов. Возвращение на ТВ

Сегодня это история про двойное убийство

СНОБ
Запчасти подорожают в июне. Что будет с ОСАГО и каско Запчасти подорожают в июне. Что будет с ОСАГО и каско

Участники страхового рынка прогнозируют рост стоимости полисов каско

РБК
Почему сомневаться в себе нормально и как с этим жить в кризис Почему сомневаться в себе нормально и как с этим жить в кризис

Упадок сил, усталость от выбранного пути — частые ощущения даже в обычное время

РБК
Как убрать жирное пятно с одежды: лучшие способы Как убрать жирное пятно с одежды: лучшие способы

Масло или бензин могут оставить на ткани стойкие следы

Cosmopolitan
Ин и янь: покраска волос двумя цветами Ин и янь: покраска волос двумя цветами

Какие оттенки предлагают сочетать колористы и кому подойдёт такое окрашивание

Cosmopolitan
Девальвация или отвага? Какие варианты есть у правительства Мишустина после обвала цен на нефть Девальвация или отвага? Какие варианты есть у правительства Мишустина после обвала цен на нефть

Девальвация может поддержать российскую экономику в условиях кризиса

Forbes
Человек, который слишком много знал: 9 мифов об Альфреде Хичкоке Человек, который слишком много знал: 9 мифов об Альфреде Хичкоке

Правда и мифы о мастере саспенса

Вокруг света
Лучшие детективы с непредсказуемой развязкой: список книг, от которых невозможно оторваться Лучшие детективы с непредсказуемой развязкой: список книг, от которых невозможно оторваться

Готов погрузиться в атмосферу загадок и тайн?

Playboy
Будущий единорог: как французы решили одолеть Gmail и Microsoft Outlook и создали почтовый сервис на $800 млн Будущий единорог: как французы решили одолеть Gmail и Microsoft Outlook и создали почтовый сервис на $800 млн

Стартап Front, который помогает бизнесу обрабатывать входящие письма

Forbes
В защищенном режиме В защищенном режиме

Новые технологии для решения экологических проблем Сахалинской области

РБК
Одни дома. На карантине с ребенком Одни дома. На карантине с ребенком

Жизнь учителей, школьников и их родителей изменилась по всей стране

СНОБ
Маслом не испортишь Маслом не испортишь

Косметическое масло может стать настоящей палочкой-выручалочкой в уходе за лицом

Худеем правильно
Харви Вайнштейну дали 23 года тюрьмы: почему это правильно Харви Вайнштейну дали 23 года тюрьмы: почему это правильно

Почему приговор Харви Вайнштейну справедлив

Cosmopolitan
Схожие интересы Схожие интересы

Альтернативные варианты популярных туристических направлений

Grazia
Как устроен истребитель ПАК ФА Т-50 Как устроен истребитель ПАК ФА Т-50

Число истребителей пятого поколения в мире растет

Maxim
Милоша узнаю по походке Милоша узнаю по походке

Милош Бикович – о том, в каких случаях искусство может оказаться важнее политики

Esquire
На колёсах: как появился автомобиль На колёсах: как появился автомобиль

Автомобиль — одно из самых важных изобретений человечества

Популярная механика
Дмитрий Гаричев: Египет. Из цикла «Сказки для мертвых детей» Дмитрий Гаричев: Египет. Из цикла «Сказки для мертвых детей»

Пронзительно-реалистичный текст Дмитрия Гаричева

СНОБ
Открыть в приложении