08/07/2024

翻译引擎基准测试:绩效与质量的比较研究

许多翻译引擎提供不同级别的性能和质量。但是你应该选择哪一个呢?

MachineTranslation.com 研究了我们的人工智能翻译聚合器上可用的各种顶级机器翻译器。我们根据关键指标分析了领先的引擎,以找到速度和准确性的最佳平衡。

我们评测过的顶级机器翻译引擎是 DeepL、Google、Chat GPT、Microsoft、Lingvanex、Modern MT、Royalflush、Niutrans 和 Groq。

顶级翻译引擎的详细比较

我们的人工智能机器翻译聚合器从用户翻译和互动中收集了大量数据。利用这些数据,我们分析了两个关键指标:平均翻译分数和处理时间。

翻译引擎的平均分数

平均分数是每个引擎翻译质量的关键指标。分数来自对翻译文本的反馈,根据清晰度、连贯性和所需编辑的程度进行评分。本文提出的结果可能会有所不同,并可能根据持续的反馈和研究而发生变化。

 以下是领先翻译引擎的平均得分:

  • DeepL:8.38

  • Google:7.90

  • 聊天 GPT :7.82

  • Microsoft:7.77

  • Lingvanex :7.49

  • 现代机器翻译:7.48

  • 皇家同花顺:6.54

  • 纽西兰交通局:6.65

  • 格罗克:6.66

翻译引擎的平均分数

该图表说明了每个引擎的平均分数。

根据上图,DeepL平均得分最高,表明翻译质量在 11 款机器翻译中较为优秀。Google 和 Chat GPT 的表现也不错,紧随其后的是微软。

Lingvanex 和 Modern MT 表现中等,提供令人满意的质量,但不如顶级产品。Royalflush、Niutrans 和 Groq 的平均分数最低,这意味着他们的翻译通常需要更多编辑。

阅读更多:流行机器翻译引擎支持的语言

不同引擎的处理时间

处理时间是反映翻译引擎效率的关键指标。更快的处理时间对于实时翻译来说至关重要。以下是每个引擎的平均处理时间:

  • Google:0.22 秒

  • Microsoft:0.26 秒

  • 亚马逊:0.33 秒

  • 现代机器翻译:0.36 秒

  • Lingvanex :0.45 秒

  • DeepL:0.51 秒

  • 聊天 GPT :1.12 秒

  • 纽西兰交通局:1.47 秒

  • 皇家同花顺:1.83 秒


不同引擎的处理时间



该图表展示了每个机器翻译引擎的平均处理时间。


从上图可以看出,谷歌、微软和亚马逊的速度最快,非常适合快速翻译。现代 MT、Lingvanex 和 DeepL 速度适中。


ChatGPT、Niutrans 和 Royalflush 最慢,这在时间敏感的情况下可能是一个缺点。

处理时间和分数之间的相关性

热图矩阵


该图表显示翻译速度和质量之间没有相关性。

看看处理时间和翻译质量,我们分析了这两个指标之间的相关性。上图显示相关系数约为 -0.093,表明负相关性非常弱。这意味着更快的翻译时间不一定会影响质量,并且这两个指标基本上是独立的。

反馈分析见解

反馈为翻译质量提供了宝贵的见解。以下是 MachineTranslation.com 聚合器中最常见的反馈类型及其频率:

  1. 基本晴朗:只需要进行一些修改- 76,877 个实例

  2. 几乎顺利:需要进行可选调整- 64,001 个实例

  3. 相当精致:可能需要轻微编辑 - 55,030 个实例

  4. 高度不一致:需要进行大量编辑- 32,301 个实例

  5. 需要彻底编辑:需要彻底的编辑 -  27,697 个实例

除了提到的常见反馈类型之外,我们还进行了进一步分析,以更准确地表示我们的人工智能聚合器的翻译质量,如下图所示。

反馈分析见解


我们的人工智能翻译聚合器根据其内部反馈分析产生“大部分清晰”的输出。

上图展示了我们的人工智能聚合器对翻译内容的内部反馈分析。最高平均分为“极其清晰”、“近乎流畅”和“相当精致”。


“非常清晰”的平均分数最高,表明编辑需求极小。“近乎流畅”和“相当精致”的平均得分相似,约为 7.5-8,表明质量良好,但需要稍加改进。 


同时,得分最低的是“高度不一致”和“需要彻底编辑”,平均分数低于 5,表明翻译问题严重。


阅读更多:每种语言对的最佳机器翻译引擎

结论

我们的研究确定了不同翻译引擎的优点和缺点。随着我们继续研究和开发人工智能聚合器,本文中关于机器翻译的发现可能会发生变化。


这些发现可以帮助企业和个人根据他们的特定需求选择最佳的翻译引擎,无论是强调速度、质量还是两者的平衡。如果您想尝试本文提到的机器翻译引擎,请访问我们的主页。您还可以注册我们的免费订阅计划,每月可为您提供 1500 个积分,以获得更多访问权限。