研究 / 官方
人类与模型都面临挑战
苹果机器学习研究团队在EMNLP发表论文，系统评估了大语言模型（LLM）在机器翻译质量标注任务中的表现。研究采用多维质量指标（MQM）和错误跨度标注（ESA）两种主流评估方案，在涵盖70个语言对的长上下文测试集以及公开的WMT23和WMT25数据集上展开实验。结果显示，LLM与人类标注者之间的一致性在部分任务中超过了人类标注者之间的互相一致性，但两者在不同标注方案、语言对和领域之间的表现差异显著，在大多数场景下仍不稳定可靠。研究同时揭示了人类与LLM各自的薄弱环节：人类在细粒度MQM标注和低资源语言对上表现较差，LLM则在识别轻微错误、错误语言变体及错误跨度标注方面存在明显不足。研究团队认为，人机协作标注流程或许是提升整体可靠性的可行方向。
随着大语言模型能力的持续提升，业界普遍期待其能够替代人工完成机器翻译质量评估，从而降低成本、提高效率。然而，机器翻译评估本身横跨大量语言对、多个专业领域以及不同粒度的标注层级，这使得在将LLM正式引入评估流程之前，必须对其进行全面系统的测试。苹果研究团队此次发表的论文正是针对这一现实需求展开的深入研究。
研究团队选取了两种在业界广泛使用的机器翻译质量评估框架：多维质量指标（MQM）和错误跨度标注（ESA）。MQM要求标注者对翻译错误进行细粒度分类和严重程度评级，而ESA则侧重于标记具体的错误文本片段。研究在包含70个语言对的长上下文测试集以及WMT23、WMT25公开数据集上同时进行，覆盖范围广泛，具有较强的代表性。
实验结果呈现出复杂的图景。在部分评估任务中，LLM与人类标注者的一致性甚至高于人类标注者之间的互相一致性，这表明LLM在某些场景下确实具备替代潜力。但从整体来看，无论是LLM还是人类，其标注一致性都随标注方案、语言对和领域的不同而大幅波动，难以在大多数实际应用场景中保持稳定可靠的表现。
研究进一步细化了人类与LLM各自面临的具体挑战。人类标注者在处理细粒度MQM标注时容易出错，在低资源语言对上的表现尤为薄弱，这与相关语言的专业人才稀缺密切相关。LLM则在识别轻微翻译错误、区分不同语言变体（如英式英语与美式英语）以及准确定位错误跨度方面存在系统性不足，反映出模型在细节感知和语言变体理解上的局限。
面对上述发现，研究团队提出人机协作标注流程作为潜在解决方案。这一思路的核心在于让人类与LLM在各自擅长的环节发挥优势，互相弥补短板，从而在整体上提升标注的准确性和一致性。研究团队认为，这种协作模式有望系统性地解决本研究所识别的可靠性问题，为机器翻译评估领域提供更具实用价值的工程路径。
要点
- LLM在部分机器翻译评估任务中与人类的一致性超过人类之间的互相一致性，但整体表现在不同语言对和领域间波动显著，尚不可靠
- 人类标注者的主要弱点在于细粒度MQM标注和低资源语言对，LLM则在轻微错误识别、语言变体区分和错误跨度标注上存在系统性不足
- 研究覆盖70个语言对及WMT23、WMT25两个公开数据集，是目前该领域规模较大的系统性评估之一
- 人机协作标注流程被认为是提升机器翻译质量评估可靠性的可行方向，值得进一步探索与工程化落地
原始标题：Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
本文由 DataHub 基于公开来源整理，用于信息发现与摘要阅读；具体事实、数据和后续更新以原始来源为准。