Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Памяти 11 сентября: очерк «Падающий человек» о самом известном снимке теракта в башнях-близнецах в Нью-Йорке Памяти 11 сентября: очерк «Падающий человек» о самом известном снимке теракта в башнях-близнецах в Нью-Йорке

О самом известном снимке теракта в башнях-близнецах в Нью-Йорке

Esquire
Луч надежды Луч надежды

Как создается российское медоборудование для диагностики и лечения заболеваний

Популярная механика
«Город-призрак»: Bloomberg рассказал о жизни элиты в опустевшем Нью-Йорке «Город-призрак»: Bloomberg рассказал о жизни элиты в опустевшем Нью-Йорке

Люди, не покинувшие престижные районы Нью-Йорка, оказались в пустых домах

Forbes
Крутые семейные комедии: 18 лучших для уютного вечера Крутые семейные комедии: 18 лучших для уютного вечера

Классный список, чтобы посмеяться всем вместе

Playboy
Сказка о царевне Сказка о царевне

Художница из Петербурга Юлдус Бахтиозина заставила Европу полюбить кокошники

Vogue
Почему нас пугает неопределенность Почему нас пугает неопределенность

Именно открытость к переменам помогает нам в итоге расти и добиваться успеха

Psychologies
Правила жизни Кристофера Уокена Правила жизни Кристофера Уокена

Правила жизни актера Кристофера Уокена

Esquire
Цена доверия: что должны сделать правительства, чтобы остановить обвал фондового рынка Цена доверия: что должны сделать правительства, чтобы остановить обвал фондового рынка

Падение фондового рынка может поставить новый антирекорд

Forbes
Кто твой номер один: нумерология расскажет тебе, с кем стоит встречаться Кто твой номер один: нумерология расскажет тебе, с кем стоит встречаться

Давай вычислим, кто ты на самом деле!

Cosmopolitan
Пережившие послеродовое психическое расстройство женщины не захотели рожать еще Пережившие послеродовое психическое расстройство женщины не захотели рожать еще

Какие причины могут повлиять на желание женщины рожать детей

N+1
Я перед вами чиста Я перед вами чиста

Героини «Татлера» все чаще выходят в свет без макияжа

Tatler
О хостах и людях: первые впечатления от третьего сезона «Мира Дикого Запада» (без спойлеров) О хостах и людях: первые впечатления от третьего сезона «Мира Дикого Запада» (без спойлеров)

В третьем сезоне «Мира Дикого Запада» местом действия становится Лос-Анджелес

Esquire
Счастье женщины в труде Счастье женщины в труде

Коуч Алексей Ситников учит читательниц «Татлера» искать работу

Tatler
Чувство стиля Чувство стиля

Загородный дом в Калининграде в стиле американская классика

SALON-Interior
История в машинах: чем запомнился 1991 год История в машинах: чем запомнился 1991 год

1991 год — августовский путч, распад автопрома и легендарная «Волга»

РБК
Взглянуть по-новому Взглянуть по-новому

Когда ничего не помогает распахнуть взгляд, в дело вступают пластические хирурги

Собака.ru
Кальмары перекодировали РНК за пределами клеточного ядра Кальмары перекодировали РНК за пределами клеточного ядра

Благодаря этому моллюски могут осуществить тонкую настройку нервной системы

N+1
Элизабет из Верхотурья: в поисках страшной красоты Элизабет из Верхотурья: в поисках страшной красоты

Как выглядит уральская глубинка глазами сильных женщин

Русский репортер
Бармен — друг молодежи: как россиянка запускала самый модный бар в сицилийской деревне Бармен — друг молодежи: как россиянка запускала самый модный бар в сицилийской деревне

Что бывает, когда персонал любит своих клиентов больше, чем нанимателя

Forbes
Пусковое устройство для автомобиля: рейтинг 6 лучших моделей Пусковое устройство для автомобиля: рейтинг 6 лучших моделей

Как выбрать автономное пусковое устройство для автомобиля?

CHIP
Вкус Канады из-под Пензы: история кленоварни из села, которая продаёт тонны сиропа по всей России Вкус Канады из-под Пензы: история кленоварни из села, которая продаёт тонны сиропа по всей России

Кооператив поставляет кленовый сироп «Вкусвиллу», «Кофемании» и другим сетям

VC.RU
Одной нагой здесь Одной нагой здесь

Отправьтесь на один из этих нудистских пляжей

GQ
Насколько счастливо жили самые известные продавцы счастья — от Дейла Карнеги до Рональда Хаббарда Насколько счастливо жили самые известные продавцы счастья — от Дейла Карнеги до Рональда Хаббарда

Какой была жизнь у продавцов счастья?

Maxim
Даешь молодежь! Даешь молодежь!

Встречайте новых звезд, чьи имена скоро будут у всех на устах

Grazia
«Дети знают, что мама работает блогером» «Дети знают, что мама работает блогером»

Интервью с Валерией Чекалиной, одним из самых успешных блогеров страны

OK!
Новая Альбина Новая Альбина

Альбина Джанабаева впервые снялась для «Домашнего Очага» и рассказала о себе

Домашний Очаг
8 лайфхаков для похудения, с которыми вы забудете о диетах 8 лайфхаков для похудения, с которыми вы забудете о диетах

Мы дадим пять советов, которые помогут вам похудеть

Cosmopolitan
Первый в тундре Первый в тундре

Российский зонд попробует на вкус лунную вечную мерзлоту

N+1
Осознанность в большом городе Осознанность в большом городе

Осознанность — затертое слово в среде людей, увлекающихся восточными практиками

Yoga Journal
Искусство — на съедение Искусство — на съедение

Дегустационное меню — что-то вроде годовой контрольной работы шеф-повара

Robb Report
Открыть в приложении