Анализ точности перевода программы Google Translate. Часть 3.  

Достаточный уровень понимания

Рейтинг языковой пары дает указания относительно точности перевода между различными языковыми парами, но это не дает информации о том, насколько он адекватен. Например, будет ли переводы между парой языков со средним баллом BLEU 50,0 достаточно понятным, или 70,0 - минимальное требуемое количество баллов? Очевидно, что более высокие стандарты должны быть у переводов юридических, финансовых, медицинских документов, или других критических статей, а более низкий стандарт точности, вероятно, у переводов неофициальных текстов и относительно незначительного материала.

Еще один стандарт - понимание прочитанного, проверятся это путем сдачи экзамена «Тест на знание английского языка как иностранного «(TOEFL), который требуют многие университеты у студентов, для которых английский не является родным. Например, программа специализации UCLA(Калифорнийского университета в Лос-Анджелесе) требует минимальное количество баллов 21 из 30, в то время как при поступлении в университет Оберн на специальность «Магистр делового администрирования» требуется как минимум 16 баллов. В одном исследовании (Aiken, и др., 2011), 75 американских студентов, основной язык которых был английским, приняли участие в подобном тестировании на чтение и понимание текстов, взятых из экзамена TOEFL на китайском, немецком, хинди, корейском, малайском, и испанском языках, которые перевели на английский с помощью программы Google Translate. В результате оказалось, что средний балл составил 21.90 баллов, чуть выше минимума (21 балла), требуемого программой специализации UCLA. Это свидетельствует о том, что в среднем, машинного перевода было достаточно для понимания материала, с которым абиткриент мог бы столкнуться во время учебы. Соответствующий средний балл BLEU для этих шести тестов был 19.67.

Тем не менее, в нашем анализе мы использовали текст полегче (Flesch Reading Ease = 81.6 баллов; Grade = 3.6 баллов по сравнению с тестами TOEFL «Reading Ease» = 63.5 баллов и Grade Level = 8.3 баллов), следовательно, средняя оценка BLEU для шести пунктов, перечисленных выше в переводе с английского на китайский, немецкий, хинди, корейский, малайский, и испанский была намного выше (58,83баллов). Если предположить, что между баллами BLEU и TOEFL существует линейное соотношение то, соответствующая оценка TOEFL для шести пунктов, переведенных на английский язык с шести языков, будет 24,5 балла из 30. Скорректированная минимальная оценка TOEFL за чтение для этого упрощенного материала для UCLA была бы 26.2 баллов и для университета Оберн - 20.0 баллов. Беря 26.2 балл как стандарт, то переводя материал выпускника университета UCLA, использование 737 из 1,275 языковых комбинаций было бы достаточны для понимания этого материала. 865 баллов - достаточный стандарт используемый студентами университета Оберн.

Заключение

Хотя программа Google Translate может переводить большое количество языков, точность этих переводов сильно различается. Это исследование впервые дает нам оценку того, насколько хорошим потенциальный перевод может получиться при использовании системы машинного перевода. Наш анализ показывает, что переводы между европейскими языками, как правило, лучше, а перевод азиатских языков зачастую плох. Кроме того, подавляющее большинство языковых комбинаций, вероятно, обеспечит достаточную точность для понимания прочитанного в колледже.

Однако существуют некоторые ограничения в исследовании. Во-первых, использовался весьма ограниченный текст, связано это с тем, что очень трудно получить эквивалентный перевод текста на 50 различных языках. Если взять за образец более сложный текст то, это скорее всего, приведет к снижению оценки BLEU. С другой стороны, только один справочный текст использовался в вычислениях, снова, из-за проблемы эквивалентности. Таким образом, каждый перевод сравнивался только с одним "правильным" результатом. Другие приемлемые переводы с использованием альтернативных формулировок и синонимов привели бы к более высоким оценкам BLEU. И, наконец, человеческие суждения о понимании, как правило, предпочтительнее автоматической оценки, но в данном случае, это было нецелесообразно из-за многочисленных языковых комбинаций, которые необходимо было оценить.

Наконец, эта оценка не статична. В программе Google Translate постоянно добавляются новые языки, и существующий алгоритм перевода языка постоянно совершенствуется, т.к. программное обеспечение «обучается» с помощью дополнительного текста, а добровольцы могут исправлять ошибки в переводе. Хотя работа данной системы машинного перевода никогда не сможет достичь уровня профессионала-переводчика, программа Google Translate может обеспечить быстрый, дешевый перевод для необычных языковых пар.

 

Предыдущая часть

Закажите тестовый перевод —
бесплатно!
Pay order: