Почему научить машину писать — легко, а искать ошибки в написанном — трудно

VC.RUHi-Tech

Обработка естественного языка: как создать «грамотного робота»

Узнали у разработчиков, почему научить машину писать — легко, а искать ошибки в написанном — трудно.

1280

Уже десяток российских команд включились в сложнейшую задачу по машинному обучению. Вот её условия:

Дано: реальные сочинения с ЕГЭ на двух языках — русском и английском. Их разметили школьные учителя: выделили смысловые блоки (аргументы, примеры, выводы) и нашли ошибки. В их числе — нарушение логики, искажение смысла, несоответствие теме.

1280

Задача: создать алгоритм, который сможет размечать такие же тексты и находить ошибки не хуже учителей. То есть разметка алгоритма должна отличаться от разметок педагогов не сильнее, чем разметки педагогов отличаются друг от друга. Язык можно выбрать на своё усмотрение.

Мы пообщались с тремя командами, работающими над решением.

  • «Антиплагиат» разработал одноимённый сервис обнаружения заимствований в текстах. В конкурсной команде эксперты в области машинного обучения, исследователи-алгоритмисты и специалисты по подготовке данных.
  • В составе команды «Наносемантика» — сотрудники «Нейросетей Ашманова» и системы проверки правописания «ОРФО»: нейросетевики, разработчики и лингвисты.
  • Команда DeepPavlov сформировалась во время работы над библиотекой разговорного AI DeepPavlov. Все участники — сотрудники лаборатории МФТИ.

Расскажите про своё решение. Какие ошибки оно уже определяет? Использовали в нём готовые модули или собственные наработки?

Антиплагиат: Делиться секретами до подведения хотя бы предварительных итогов было бы очень самонадеянно. Создание такого непростого алгоритма — задача творческая, каждая команда идёт к её решению особым путём.

Что касается результатов, то наш алгоритм приблизился к человеку в плане обнаружения грамматических ошибок.

Наносемантика: Конкурс лежит прямо в русле нашей работы. Мы развиваем одну из самых продвинутых систем проверки правописания — «ОРФО» — и как раз сейчас доделываем для неё английский граммер. А заодно экспериментируем с нейросетевыми модулями для выявления сложных ошибок — например, в расстановке артиклей, употреблении форм глагола или выборе слов из тех, которые для иностранца звучат похоже (steal вместо still или thin вместо thing).

Мы не стали ничего выдумывать, а просто попробовали подготовить бета-версию некоего продукта, напоминающего тот, который мы собираемся выпустить в будущем. Получилась в лучшем случае альфа (что тоже неплохо) — и, конечно, не хватило нескольких дней на то, чтобы выявить и исправить кучу крайне обидных ошибок. Не говоря уже о том, чтобы что-то отполировать.

Если в двух словах, то наше решение — соединение нейромодулей с традиционным граммером на правилах, который пока находит больше ошибок, но и сам ошибается чаще.

Это решение не было самым простым — кажется, мы знаем, как написать примитивную заглушку, которая формально дала бы результаты получше. И не удивлюсь, если какая-то из команд в условиях цейтнота так и поступила. Но мы заметно продвинулись в тех направлениях, в которых хотели продвинуться. Судя по разметке экспертов в доступных эссе, наша модель уже исправляет артикли не хуже среднестатистического учителя. Не знаем, насколько это серьёзный комплимент.

1280

На скриншоте — редкий пример текста, в котором найдено много ошибок. К другим эссе у нейросети претензий было меньше — часто одна-две, иногда ни одной. Сочинение, впрочем, действительно выдающееся: внимательный читатель, хотя бы немного знающий английский, легко найдёт в нём ошибки, которые наши модули пропустили.

Среди отмеченных ошибок, к сожалению, встречаются и ложные срабатывания. В предложении «дети предпочитают компьютерные игры обучению» нейросеть предлагает добавить местоимение (them), но тогда смысл исказится: «дети предпочитают играть в компьютерные игры, а не изучать их».

DeepPavlov: Мы использовали буквально всё, что могли, из нашей библиотеки и не только из неё. Для конкурса Alexa Prize от Amazon мы разработали DeepPavlov Agent — платформу для оркестрирования диалогов. Она отлично подошла и для этого конкурса и позволила нам совмещать несколько моделей, управлять ими и агрегировать результаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Не думайте о покупателе: как вырастить стартап, который купит Apple Не думайте о покупателе: как вырастить стартап, который купит Apple

Что необходимо учитывать при создании стартапа, чтобы заинтересовать Apple

Forbes
Особые люди: как и для чего власть закрывает данные о себе Особые люди: как и для чего власть закрывает данные о себе

К чему приведет отнесение силовиков к категории особо защищенных лиц?

Forbes
P.S.: 2010 год P.S.: 2010 год

Нулевые, которые страна провела в офисах и клубах, закончились

Esquire
Свадебное платье Дианы: в чем промахнулись создатели Свадебное платье Дианы: в чем промахнулись создатели

Свадебное платье принцессы Дианы покорило сердца модниц почти 40 лет назад

Cosmopolitan
«Лучшее в нас: Почему насилия в мире стало меньше» «Лучшее в нас: Почему насилия в мире стало меньше»

Отрывок из книги Стивена Пинкера о насилии в современном мире

N+1
Как работают «умные» технологичные протезы. Интервью с ортопедом Как работают «умные» технологичные протезы. Интервью с ортопедом

Ортопед рассказывает о современных протезах

РБК
«Иронии судьбы» — 45 лет. Рассказываем, как создавалась картина (и показываем эксклюзивные фото со съемок) «Иронии судьбы» — 45 лет. Рассказываем, как создавалась картина (и показываем эксклюзивные фото со съемок)

Архивы «Мосфильма» раскрывают историю главного новогоднего фильма страны

Esquire

Esquire поговорил с продюсером, режиссером и сценаристом «Серебряных коньков»

Esquire
60 лет со дня крупнейшей авиакатастрофы своего времени 60 лет со дня крупнейшей авиакатастрофы своего времени

16 декабря 1960 года на город Нью-Йорк рухнули сразу два авиалайнера

Maxim
Все наследство псу под хвост: самые странные пункты из завещаний звезд Все наследство псу под хвост: самые странные пункты из завещаний звезд

Звезды отличаются оригинальностью даже в своих завещаниях

Cosmopolitan
Телефон доверия: кто и как использует подмену мобильных номеров Телефон доверия: кто и как использует подмену мобильных номеров

Технологию подмены номера используют как крупные компании, так и мошенники

Forbes
Смирительная рубашка и еще 6 странных изобретений для котов Смирительная рубашка и еще 6 странных изобретений для котов

Приспособления для котов, изобретенные энтузиастами

Maxim
«Здесь нет шансов что-то доказать». ДТП, которое может произойти с каждым «Здесь нет шансов что-то доказать». ДТП, которое может произойти с каждым

Разбираем в последствиях ДТП: кто виноват и что делать

РБК
Крупные шмели оказались разборчивее мелких Крупные шмели оказались разборчивее мелких

Крупные шмели тратят больше времени, чтобы запомнить цветки

N+1
С Нового года С Нового года

Некоторые читательницы начали худеть сразу после Нового года

Худеем правильно
Всё о малотравматичной блефаропластике — как «поднять» веки малой кровью Всё о малотравматичной блефаропластике — как «поднять» веки малой кровью

Вместе с экспертом разбираемся, какую блефаропластику выбрать

Cosmopolitan
Обзор игры Call of Duty: Black Ops Cold War Обзор игры Call of Duty: Black Ops Cold War

Black Ops Cold War — зрелищная одиночная кампания и плохой мультиплеер

CHIP
Самый быстрый «единорог» в истории: сервис онлайн-мероприятий Hopin за год вырос с нуля до оценки в $2,1 млрд Самый быстрый «единорог» в истории: сервис онлайн-мероприятий Hopin за год вырос с нуля до оценки в $2,1 млрд

Выручка стартапа за полгода выросла в 50 раз — с $450 тысяч до $25 млн

VC.RU
Виктор Низовцев ловец ускользающих снов Виктор Низовцев ловец ускользающих снов

«С некоторыми из моих персонажей связаны почти мистические истории»

Караван историй
Лыжный сезон: как Арнольд Шварценеггер, принцесса Диана и Шер проводили зимние каникулы Лыжный сезон: как Арнольд Шварценеггер, принцесса Диана и Шер проводили зимние каникулы

Зима — не повод отказываться от активного отдыха

Esquire
Попугайчики-неразлучники: Алина Фаркаш о личных границах в браке Попугайчики-неразлучники: Алина Фаркаш о личных границах в браке

Насколько важно соблюдать личные границы в семье

Cosmopolitan
Братья и сестры: как помочь им полюбить друг друга? Братья и сестры: как помочь им полюбить друг друга?

От чего зависит, как сложатся отношения братьев и сестер?

Psychologies
Как встретить Новый год несколько раз подряд Как встретить Новый год несколько раз подряд

Мы предлагаем встретить Новый год несколько раз с разными странами

Maxim
Финальный босс Финальный босс

Как выглядит, ведет себя и меняется Дед Мороз

N+1
#тело #тело

Средства, которые и успокоят, и взбодрят, и защитят от вирусов

Glamour
Археолог и художник реконструировали облик жившей 3700 лет назад перуанской женщины Археолог и художник реконструировали облик жившей 3700 лет назад перуанской женщины

Девушка из Эль Парайсо похожа чертами лица на современных женщин

N+1
Главный злодей в триллере о пандемии — банальный грипп. Фрагмент из книги «Следующая пандемия» Главный злодей в триллере о пандемии — банальный грипп. Фрагмент из книги «Следующая пандемия»

Отрывок из книги Али Хана об опасности, которую несёт грипп

СНОБ
Снежное шоу Снежное шоу

Новый год на даче – настоящая зимняя феерия

Лиза
Эпоха радикальных перемен: автомобильные двигатели конца ХХ века Эпоха радикальных перемен: автомобильные двигатели конца ХХ века

К концу ХХ века в создании автомобильных двигателей внезапно назрела революция

Популярная механика
Температура электронов в болометре приблизилась к теоретическому минимуму Температура электронов в болометре приблизилась к теоретическому минимуму

Новый температурный рекорд, который поможет в изучении реликтового излучения

N+1
Открыть в приложении