Анализ точности перевода программы Google Translate. Часть 2.  

Эквивалентный текст для каждого из следующих предложений (Flesch Reading Ease получил 81.6 балл по шкале от 0 до 100, где 0-плохо, 100- хорошо; Flesch-Kincaid получил 3.6 баллов по шкале от 1 до 14) для всех 50 неанглийских языков был получен от онлайн энциклопедии систем письма и языков Omniglot:

  1. Рад познакомиться с вами.
  2. Мое судно на воздушной подушке полно угрей.
  3. Одного языка никогда не бывает достаточно.
  4. Я не понимаю.
  5. Я люблю тебя.
  6. Все люди рождаются свободными и равными в своем достоинстве и правах. Они наделены разумом и совестью и должны поступать в отношении друг друга в духе братства.

Баллы, полученные от Оценщика 1 и Оценщика 2 были весьма схожими(R = 0.527, p < 0.001), также баллы от каждого оценщика в достаточной мере совпадали с баллами программы BLEU, используя азиатскую онлайн программу Language Studio Lite (Оценщик 1: R = 0,789 , р <0,001; Оценщик 2: R = 0,506, р <0,001). Кроме того, оценки BLEU были схожими (R = 0,499, р = 0,003) с мерами понимания предложенные Эйкеном и Ваньяни (2009) (R = 0.447, p = 0.010). Таким образом, мы считаем, что оценки BLEU показывают, насколько хорошо люди поняли бы переведенный текст.

Мы использовали программу Language Studio Lite , чтобы рассчитать количество баллов BLEU за каждый из 2550 переводов текста, указанного выше, полученных с помощью программы Google Translate. Например, текст, соответствующий этим шести пунктам, был взят на французском языке, переведен на немецкий с помощью программы Google Translate, а затем были просчитаны баллы с помощью программы BLEU, чтобы увидеть, насколько хорошо перевод соответствует эквивалентным немецким фразам.  В этой таблице, исходные языки пишутся в качестве заголовков строк, а языки перевода в качестве заголовков столбцов. Например, текст на арабском языке (источник) был переведен на африкаанс (конечная цель), и затем машинный перевод сравнили с эквивалентным текстом на африкаанс языке, в итоге перевод получил 46 баллов по программе BLEU.

Затем, мы рассчитали точность переводов каждой языковой пары, чтобы выявить насколько перевод между двумя языками будет понятен. Например, оценка BLEU с исландского на болгарский составляет 42 балла, с болгарского на исландский-49 баллов, в итоге среднее число 45.5 баллов. (Примечание: Порядок языков пар выбран случайно. Таким образом, японско-малайская языковая пара не отличается от малайско-японской).

Предыдущая часть | Следующая часть

Закажите тестовый перевод —
бесплатно!
Pay order: