Motors de traducció de benchmarking: Un estudi comparatiu de rendiment i qualitat

Molts motors de traducció ofereixen diferents nivells de rendiment i qualitat. Però quin hauríeu de triar?

MachineTranslation.com va estudiar els principals traductors automàtics disponibles al nostre agregador de traduccions basat en IA. Hem analitzat els principals motors basant-nos en mètriques clau per trobar el millor equilibri entre velocitat i precisió.

Els principals motors de traducció automàtica que hem revisat són DeepL, Google, Chat GPT, Microsoft, Lingvanex, Modern MT, Royalflush, Niutrans i Groq.

Comparació detallada dels principals motors de traducció

La nostra intel·ligència artificial agregador de traducció automàtica va recopilar dades extenses de traduccions i interaccions dels usuaris. Amb aquestes dades, hem analitzat dues mètriques clau: les puntuacions mitjanes de la traducció i els temps de processament.

Puntuació mitjana dels motors de traducció

La puntuació mitjana és un indicador clau de la qualitat de la traducció produïda per cada motor. Les puntuacions provenen de comentaris sobre textos traduïts, valorats segons la claredat, la coherència i l'abast de les edicions necessàries. Els resultats que es presenten en aquest article poden variar i estan subjectes a canvis en funció dels comentaris i de la investigació en curs.

Aquestes són les puntuacions mitjanes dels principals motors de traducció:

• DeepL: 8.38

• Google: 7.90

• Xat GPT : 7.82

• Microsoft: 7.77

• Lingvanex : 7.49

• MT moderna : 7.48

• Escala Reial : 6.54

• Niutrans : 6.65

• Groq : 6.66

Puntuació mitjana dels motors de traducció

Aquest gràfic il·lustra les puntuacions mitjanes de cada motor.

D'acord amb el gràfic anterior, profund L té la puntuació mitjana més alta, mostrant una qualitat de traducció superior entre els onze traductors automàtics. Google i Chat GPT també funcionen bé, seguits de prop per Microsoft.

Lingvanex i Modern MT tenen un rendiment moderat, oferint una qualitat satisfactòria però no tan alta com els millors. Royalflush, Niutrans i Groq tenen les puntuacions mitjanes més baixes, el que significa que les seves traduccions sovint necessiten més edicions.

Llegir més: Idiomes compatibles amb motors de traducció automàtica populars

Temps de processament de diferents motors

El temps de processament és una mètrica crucial que reflecteix l'eficiència d'un motor de traducció. Els temps de processament més ràpids són essencials per a les traduccions en temps real. Aquests són els temps de processament mitjans per a cada motor:

• Google: 0,22 segons

• Microsoft: 0,26 segons

• Amazon : 0,33 segons

• MT moderna : 0,36 segons

• Lingvanex : 0,45 segons

• DeepL: 0,51 segons

• Xat GPT : 1,12 segons

• Niutrans : 1,47 segons

• Escala Reial : 1,83 segons

Temps de processament de diferents motors

Aquest gràfic mostra el temps mitjà de processament de cada motor de traducció automàtica.

A partir del gràfic anterior, Google, Microsoft i Amazon són els més ràpids, cosa que els fa ideals per a traduccions ràpides. Modern MT, Lingvanex i DeepL tenen velocitats moderades.

ChatGPT, Niutrans i Royalflush són els més lents, cosa que pot ser un inconvenient en situacions sensibles al temps.

Correlació entre el temps del procés i la puntuació

Matriu de mapes de calor

Aquest gràfic no mostra cap correlació entre la velocitat i la qualitat de la traducció.

Per veure si hi ha una relació entre el temps de processament i qualitat de traducció , vam analitzar la correlació entre aquestes dues mètriques. El gràfic anterior mostra un coeficient de correlació d'aproximadament -0,093, que indica una correlació negativa molt feble. Això significa que els temps de traducció més ràpids no afecten necessàriament la qualitat i que les dues mètriques són majoritàriament independents.

Informació sobre l'anàlisi de comentaris

Els comentaris ofereixen informació valuosa sobre la qualitat de la traducció. Aquests són els tipus de comentaris més comuns de l'agregador de MachineTranslation.com i la seva freqüència:

1. Majoritàriament clar: Només necessitava algunes revisions - 76.877 casos

2. Gairebé suau: Es requereixen ajustaments opcionals - 64.001 casos

3. Bastant refinat: Es poden beneficiar d'edicions lleugeres - 55.030 casos

4. Altament inconsistent: Requereixen edicions substancials - 32.301 casos

5. Requereix una edició exhaustiva: Requereix una edició exhaustiva - 27.697 casos

A més dels tipus de comentaris habituals esmentats, hem analitzat més per oferir una representació més precisa de la qualitat de la traducció del nostre agregador basat en IA, tal com es mostra al gràfic següent.

Informació sobre l'anàlisi de comentaris

El nostre agregador de traduccions amb intel·ligència artificial produeix resultats "principalment clars" basats en la seva anàlisi interna de comentaris.

El gràfic anterior mostra l'anàlisi de comentaris interns del nostre agregador basat en IA per al contingut traduït. Les puntuacions mitjanes més altes són "Excepcionalment clar", "Gairebé suau" i "Bastant refinat".

"Excepcionalment clar" té la puntuació mitjana més alta, cosa que indica una necessitat mínima d'edicions. "Quai suau" i "Bastant refinat" tenen una puntuació mitjana similar d'uns 7,5-8, cosa que suggereix una bona qualitat amb millores menors necessàries. 

Mentrestant, les puntuacions més baixes són per a "Alta incoherència" i "Requereix una edició exhaustiva", amb puntuacions mitjanes per sota de 5, cosa que indica problemes significatius de traducció.

Llegir més: Millors motors de traducció automàtica per combinació d'idiomes

Conclusió

El nostre estudi identifica els punts forts i febles de diferents motors de traducció. Les troballes sobre els traductors automàtics d'aquest article poden canviar a mesura que continuem investigant i desenvolupant el nostre agregador basat en IA.

Aquestes troballes poden ajudar les empreses i les persones a triar el millor motor de traducció en funció de les seves necessitats específiques, ja sigui posant èmfasi en la velocitat, la qualitat o l'equilibri d'ambdues. Si voleu provar els motors de traducció automàtica esmentats en aquest article, visiteu la nostra pàgina d'inici. També us podeu inscriure al nostre pla de subscripció gratuïta , que us ofereix 1500 crèdits mensuals per a més accés.