MACHINE TRANSLATION EVALUATION FOR THE SOFTWARE LOCALIZATION INDUSTRY: A CASE STUDY

• Main Author: GABRIELA CASTELO BRANCO RIBEIRO
• Other Authors: MARIA CARMELITA PADUA DIAS
• Language: Portuguese
• Published: PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO 2006
• Online Access: http://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=9105@1; http://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=9105@2

COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR === Este estudo foi motivado pela utilização, ainda em caráter experimental, de um tradutor automático por uma empresa multinacional de localização de software. A fim de contribuir para essa iniciativa pioneira no país, propomos uma avaliação do programa, enfocando as implicações da utilização desta tecnologia no processo de localização de software. Empregamos a taxonomia proposta pelo FEMTI (Framework for the Evaluation of Machine Translation in ISLE), desenvolvida especialmente para a avaliação de tradução automática, com base nas normas ISO/IEC de qualidade de software. São considerados aspectos operacionais, como a integração do sistema de tradução automática às ferramentas de memória de tradução, bem como questões relacionadas à linguagem. O corpus utilizado para a avaliação foi um manual de usuário de um telefone celular. Além dos problemas lingüísticos recorrentes na maioria das ferramentas de tradução automática disponíveis atualmente, são analisados os desvios relacionados à tradução da interface com o usuário, mais especificamente aos menus do telefone celular. Esses desvios são discutidos dentro das categorias pertinentes da taxonomia do FEMTI e, sempre que possível, foram sugeridas soluções. Para complementar a análise lingüística, apresentamos outros três estudos realizados para o português. Nossos resultados indicam que o sistema pode ser bem-sucedido neste mercado em função principalmente da delimitação do domínio e da adoção dos procedimentos impostos pelo processo de localização. Esse sucesso depende da integração do tradutor automático às memórias de tradução e de investimentos relativamente pequenos na atualização dos recursos lingüísticos (regras gramaticais e dicionários) para refletir as características próprias do domínio e do tipo de texto. === This study was motivated by the trial implementation of a machine translation engine by a multinational software localization company. In order to contribute to this innovative experiment in the Brazilian market, we evaluate the engine, focusing on the implications of its implementation in the software localization industry. We use the FEMTI (Framework for the Evaluation of Machine Translation in ISLE) taxonomy, which is based on the ISO/IEC guidelines for software evaluation. Operational aspects, such as the engine s integration with translation memory tools, are taken into consideration, as well as language issues. Our evaluation is based on the machine translated version of a mobile phone user guide. In addition to the language problems common to most machine translation engines currently available, we analyze issues related to the user interface, particularly to the phone menus. These problems are discussed as examples of each related FEMTI topic and we suggest solutions whenever possible. To add to our language evaluation, we present three other studies dedicated to Portuguese. Our results indicate the engine can be successful in this industry mainly in terms of domain restriction and localization workflow procedures. Its success depends on its integration to translation memory tools and requires relatively little investment in updating the language resources (rules and dictionaries) to reflect the language characteristics specific to domain and text type.