Benchmarking Translation Engines: Komparativna studija performansi i kvaliteta

Mnogi prevodilački alati nude različite nivoe performansi i kvaliteta. Ali koji biste trebali odabrati?

MachineTranslation.com je proučavao razne vrhunske mašinske prevodioce koji su dostupni na našem agregatoru prevođenja koji pokreće AI. Analizirali smo vodeće motore na osnovu ključnih metrika kako bismo pronašli najbolji balans brzine i tačnosti.

Najbolji motori za mašinsko prevođenje koje smo pregledali su DeepL, Google, Chat GPT, Microsoft, Lingvanex, Modern MT, Royalflush, Niutrans i Groq.

Detaljno poređenje najboljih mehanizama za prevođenje

Naša umjetna inteligencija agregator za mašinsko prevođenje prikupio opsežne podatke iz korisničkih prijevoda i interakcija. Sa ovim podacima analizirali smo dvije ključne metrike: prosječne rezultate prijevoda i vrijeme obrade.

Prosječne ocjene mehanizama za prevođenje

Prosječna ocjena je ključni pokazatelj kvalitete prijevoda koju proizvodi svaki mehanizam. Bodovi dolaze iz povratnih informacija o prevedenim tekstovima, ocijenjenih na osnovu jasnoće, koherentnosti i obima potrebnih izmjena. Rezultati predstavljeni u ovom članku mogu varirati i podložni su promjenama na osnovu tekućih povratnih informacija i istraživanja.

 Evo prosječnih ocjena za vodeće prevodilačke mašine:

• DeepL: 8.38

• Google: 7.90

• Chat GPT : 7.82

• Microsoft: 7.77

• Lingvanex : 7.49

• Moderni MT : 7.48

• Royalflush : 6.54

• Niutrans : 6.65

• Groq : 6.66

Prosječne ocjene mehanizama za prevođenje

Ovaj grafikon ilustruje prosječne rezultate za svaki motor.

Na osnovu gornjeg grafikona, DeepL ima najvišu prosječnu ocjenu, pokazujući superioran kvalitet prijevoda među jedanaest mašinskih prevodilaca. Google i Chat GPT takođe rade dobro, a blisko ih prati Microsoft.

Lingvanex i Modern MT su umjereni, pružaju zadovoljavajući kvalitet, ali ne tako visok kao najbolji. Royalflush, Niutrans i Groq imaju najniže prosječne ocjene, što znači da je njihovim prijevodima često potrebno više izmjena.

Pročitaj više: Jezici podržani od strane popularnih mašina za mašinsko prevođenje

Vrijeme obrade različitih motora

Vrijeme obrade je ključna metrika koja odražava efikasnost mašine za prevođenje. Brže vrijeme obrade je od suštinskog značaja za prijevode u stvarnom vremenu. Evo prosječnog vremena obrade za svaki motor:

• Google: 0,22 sekundi

• Microsoft: 0,26 sekundi

• Amazon : 0,33 sekundi

• Moderni MT : 0,36 sekundi

• Lingvanex : 0,45 sekundi

• DeepL: 0,51 sekundi

• Chat GPT : 1,12 sekundi

• Niutrans : 1,47 sekundi

• Royalflush : 1,83 sekunde

Vrijeme obrade različitih motora

Ovaj grafikon prikazuje prosječno vrijeme obrade svake mašine za mašinsko prevođenje.

Iz gornjeg grafikona, Google, Microsoft i Amazon su najbrži, što ih čini idealnim za brze prijevode. Moderni MT, Lingvanex i DeepL imaju umjerene brzine.

ChatGPT, Niutrans i Royalflush su najsporiji, što može biti nedostatak u vremenski osjetljivim situacijama.

Korelacija između vremena procesa i rezultata

Heatmap Matrix

Ovaj grafikon ne pokazuje korelaciju između brzine prevođenja i kvaliteta.

Da vidimo postoji li veza između vremena obrade i kvalitet prevoda , analizirali smo korelaciju između ove dvije metrike. Gornji grafikon pokazuje koeficijent korelacije od oko -0,093, što ukazuje na vrlo slabu negativnu korelaciju. To znači da brže vrijeme prijevoda ne mora nužno utjecati na kvalitetu, a dvije metrike su uglavnom nezavisne.

Uvid u analizu povratnih informacija

Povratne informacije nude vrijedan uvid u kvalitet prijevoda. Evo najčešćih tipova povratnih informacija iz agregatora MachineTranslation.com i njihova učestalost:

1. Uglavnom vedro: Trebale su samo neke revizije - 76.877 slučajeva

2. Gotovo glatko: Potrebna su opciona podešavanja - 64.001 slučaj

3. Prilično prefinjeno: Može imati koristi od laganih uređivanja - 55.030 slučajeva

4. Vrlo nedosljedno: Zahtijeva značajne izmjene - 32.301 slučaj

5. Zahtijeva temeljito uređivanje: Zahteva temeljno uređivanje - 27.697 slučajeva

Pored navedenih uobičajenih tipova povratnih informacija, dodatno smo analizirali kako bismo ponudili precizniji prikaz kvaliteta prijevoda iz našeg agregatora koji pokreće AI, kao što je prikazano u donjem grafikonu.

Uvid u analizu povratnih informacija

Naš agregator prevođenja koji pokreće AI proizvodi "uglavnom jasne" rezultate na osnovu svoje interne analize povratnih informacija.

Gornji grafikon prikazuje internu analizu povratnih informacija našeg agregatora koji pokreće AI za prevedeni sadržaj. Najviši prosječni rezultati su za "Izvanredno jasno", "Gotovo glatko" i "Sasvim profinjeno".

"Izvanredno jasno" ima najvišu prosječnu ocjenu, što ukazuje na minimalnu potrebu za izmjenama. "Skoro glatko" i "Sasvim prefinjeno" imaju sličnu prosječnu ocjenu od oko 7,5-8, što ukazuje na dobar kvalitet uz potrebna manja poboljšanja. 

U međuvremenu, najniže ocjene su za "Veoma nedosljedno" i "Zahtijeva temeljito uređivanje", s prosječnim ocjenama ispod 5, što ukazuje na značajne probleme s prijevodom.

Pročitaj više: Najbolji strojevi za mašinsko prevođenje po jezičkom paru

Zaključak

Naša studija identificira snage i slabosti različitih mehanizama za prevođenje. Nalazi o mašinskim prevodiocima u ovom članku mogu se promijeniti kako nastavimo s istraživanjem i razvojem našeg agregatora koji pokreće AI.

Ovi nalazi mogu pomoći preduzećima i pojedincima da odaberu najbolji mehanizam za prevođenje na osnovu njihovih specifičnih potreba, bilo da se naglašava brzina, kvalitet ili balans oboje. Ako želite isprobati mašine za strojno prevođenje spomenute u ovom članku, posjetite našu početnu stranicu. Također se možete prijaviti za naše besplatni plan pretplate , što vam daje 1500 kredita mjesečno za veći pristup.