«Яндекс.Переводчик» с нейросетью

25.09.2017 |
Александр Абрамов.
По сообщению компании «Яндекс», ее программа-переводчик начала использовать гибридную систему: к статистической модели, которая работает в «Яндекс.Переводчике» с момента запуска, добавилась технология перевода на нейронной сети. Текст переводят обе модели, а затем алгоритм на основе метода машинного обучения CatBoost сравнивает результаты и предлагает лучший. Преимущество гибридной системы в том, что она позволяет взять лучшее от каждого метода и повысить качество перевода.

В отличие от статистического переводчика, нейронная сеть не разбивает тексты на отдельные слова и фразы, она получает на вход предложение целиком и выдает перевод. Такой подход позволяет учесть контекст и лучше передать смысл. Кроме того, результат получается «гладким»: предложение хорошо читается, иногда даже можно подумать, что его перевел человек. Статистическая модель, в свою очередь, лучше справляется с редкими словами и фразами и не фантазирует, если смысл предложения непонятен, как это может делать нейросеть.

Чтобы снизить количество грамматических ошибок, «Яндекс.Переводчик» проводит дополнительную проверку переводов, выполненных нейронной сетью. Они проходят через модель языка – свод знаний о языке перевода, накопленный системой. Если в предложении есть рассогласования, например «папа пошла» или «сильный боль», модель их исправит.

Сейчас гибридная система работает только для переводов с английского на русский, именно на это направление перевода приходится около 80% запросов. Пользователи Web-версии «Яндекс.Переводчика» могут сравнить результат работы гибридной системы и статистического переводчика и выбрать вариант, который им больше понравится.

Интересные ссылки

Автор: Александр Абрамов.

Тематики: Web

Ключевые слова: Яндекс