Анализ точности перевода программы Google Translate  

Введение

Хотя машинный перевод и подходит не для всех ситуаций, многие переводчики используют его в качестве подспорья в своей работе. Те, кто переводом не занимаются, используют программы машинного перевода, чтобы быстро понять иностранный текст, полученный по электронной почте или найденный на веб-странице, или просто какие-то материалы с компьютера , которые они не могут понять. В Интернете доступны бесплатные сайты машинного перевода, которые могут помочь справиться с этой задачей, однако проводилось немного исследований касающихся точности таких систем. В частности, по нашим данным, всесторонний анализ о том насколько хорошо работает Google Translate (GT), возможно одна из самых используемых систем, не проводился. Здесь, мы исследуем точность перевода 2 550 комбинаций языковых пар, предусмотренных в этом программном обеспечении. Результаты показывают, что большинство переводов этих языковых комбинаций обеспечивает адекватное понимание, однако переводы между западными языками, как правило, лучше, чем переводы между азиатскими языками.

Причины выбора программы Google Translate для дальнейшего анализа

Хотя программа Google Translate может переводить большое количество языков, точность этих переводов сильно различается.

Использование программы машинного перевода при подготовке чернового перевода является распространенной практикой у многих профессиональных переводчиков (Champollion, 2003; Lagoudaki, 2008; O'Hagan & Ashworth, 2002), другие же используют эту программу из-за её доступности и относительно низкой цены, чтобы понять суть иностранного текста (Altay, 2002). Например, было бы трудно найти человека, который мог бы быстро перевести веб-страницу с финского языка на хинди и при том, что читатель хочет узнать только основное содержание. Некоторые профессиональные переводчики могут брать по 0,05 долларов за слово, таким образом, человеческий перевод 250 слов будет стоить 26 долларов, намного больше, чем обычный читатель готов потратить на сомнительные материалы.

Даже если вы можете обратиться к человеку-переводчику, программа машинного перевода может перевести этот текст намного быстрее. Исследование (Ablanedo, и др., 2007) показало, что бесплатные веб системы машинного перевода в 195 раз быстрее, чем переводчики-люди. Кроме того, машинный и человеческий перевод не являются взаимоисключающими. Как только читатель посмотрел перевод, сданный такой программой, он или она могут обратиться к профессионалу, если требуется точный перевод.

Несколько бесплатных онлайн систем машинного перевода:

  • Applied Language
  • Google Translate
  • SDL Automated Translation Solutions
  • Windows Live Translator
  • Yahoo! Babel Fish SYSTRAN

Тем не менее, лишь немногие исследования проводились для оценки точности перевода. В одном исследовании (Bezhanova, и др., 2005) сравнивались три такие системы, в итоге лучшей оказалась система машинного перевода LogoMedia, далее шли PROMT, и SYSTRAN. В другом исследовании (Aiken, и др., 2009a) сравнивалось уже 4 системы, лучшей оказалась система машинного перевода Google Translate, далее шли Yahoo, X10 и Applied Language. Наконец, в 2005 году «Национальный институт стандартов и технологии» провел исследование в котором сравнивалось 22 системы машинного перевода (большинство из которых платные или сетевые). Данное исследование выявило, что Google Translate часто оказывался на первом месте и никогда не опускался ниже третьего. В программе Google Translate тексты переводились с арабского языка на английский и с китайского на английский. Более детально изучались индивидуальные системы машинного перевода, такие как Yahoo-SYSTRAN (Aiken, и др., 2006), но нам кажется, что Google Translate используется куда более часто, имеет больше комбинаций языковых пар и вероятно в целом точнее и поэтому мы сконцентрируемся именно на нем. (Aiken & Ghosh, 2009; Och, 2009).

Автоматическая оценка программы Google Translate

Проводилось несколько исследований с целью оценить точность перевода программы Google Translate (например, Aiken, и др., 2009b), однако, насколько нам известно, комплексная оценка точности этой системы машинного перевода , т. е. анализ всех языковых пар опубликован не был. Поскольку непрактично нанимать переводчиков со всех 51 языка для анализа 50 текстов, необходима автоматическая оценка.

Хотя существуют несколько техник, BLEU (алгоритм автоматической оценки качества машинного перевода по сравнению с человеческим на основе совпадения n-грамм) является, пожалуй, наиболее распространенной (Papineni, и др., 2002). Некоторые исследования указали, что программа обеспечивает высокую корреляцию с человеческими суждениями о качестве (Coughlin, 2003; Culy & Richemann, 2003). Используя эту технику, переведенный текст оценивается по шкале от 0 до 100 баллов, сравнивая его с эталонным переводом, при этом данный метод учитывает количество слов, которые являются одинаковыми в двух абзацах, а также порядок слов .

Чтобы судить о целесообразности использования программы BLEU для анализа 2550 (51 х 50) языковых пар, мы обратились к двум независимым экспертам, которые оценивали понятность 50 неанглийских текстов, которые перевели на английский с помощью программы машинного перевода Google Translate. (Примечание: На момент проведения данного исследования, Google Translate поддерживал только 51 язык. Армянский, азербайджанский, баскский, грузинский, гаитянский креольский, латинский и урду были добавлены позднее и сейчас число поддерживаемых языков составляет - 58).

Следующая часть

Закажите тестовый перевод —
бесплатно!
Да, переводим-с:
Pay order: