什么是 词错误率？

词错误率计算公式

词错误率——WER——是衡量自动语音识别（ASR）系统表现的标准方法。它把机器生成的转录稿与一份精心准备的人工参考稿逐一比对，统计三类错误：替换、删除和插入。测量起来比听上去要棘手，因为 ASR 的输出长度可能与实际说出的内容并不一致。

这里有一种简单的方法来理解 WER 是如何计算的：

5% 的 WER 大约意味着每二十个词就有一个错误——换一种说法，就是 95% 的准确率。不过数字终归抽象。下面就来看看每一类错误各自能造成怎样实实在在的破坏：

WER 计算器：亲手试试这个公式

既然您已经知道什么才算错误，那就来算一算。设定您参考稿的长度，把您发现的错误拖进来，看着词错误率随之变动——这正是您今后读到的每一个准确率宣称背后的算术。

这场准确率竞赛，以及它最终走向了哪里

自 20 世纪 50 年代以来，语音识别已经走过了很长的路——我们的语音识别简史梳理了这段历程。到 2017 年，各大科技公司已经在公开比拼 WER，比拼的标准是一套录制的电话对话基准测试：

2017年3月： IBM 声称词错误率为 5.5%
2017年5月： Google 声称词错误率为 4.9%
2017年8月： Microsoft 声称词错误率为 5.1%

这些发布之所以重要，是因为它们在同一基准上逼近了专业人工转录员的错误率——业界称之为“达到人类水平”的时刻。但在干净基准上的竞赛，实际上已经收束到一堆彼此相近的数字里。在精心录制、领域单一的测试集上，每一个像样的现代引擎都表现优异——这恰恰是基准 WER 不再是有趣问题的原因。

如今转录系统之间的真正差异，出现在别的地方：远场会议音频、说话人重叠、浓重口音、专业词汇，以及嘈杂的真实录音。两个基准分数几乎一模一样的引擎，在您周二那通电话会议上可能表现迥异——这也正是为什么唯一重要的比较，是您用自己的音频亲自跑出来的那一次。

WER 没有衡量的东西

WER 只统计词的错误，别的一概不管——而让一份转录稿真正好用的很多东西，它都看不见。标点和大小写不计分：一整墙识别得完全正确、却毫无标点的文字，可以拿到极出色的 WER，读起来却痛苦不堪。说话人归属也不计分——在 WER 看来，把对的话安到错的人头上是不用付出代价的。数字、日期和人名与其他任何词一视同仁，可把“MRSA”或“第三季度营收”弄错，代价通常远高于漏掉一个“的”。

正因如此，一份错误率略高、但标点、段落和说话人标注都干净的转录稿，往往比一份技术上“更准确”却毫无结构的稿子更有用。评估转录质量时，要把输出当作一篇文档来读，而不只是当作一次词数统计——并且要按错误会给您带来多大代价来衡量它们，而不是按它们的数量。

如何自己跑一次 WER 测试

忽略每一家厂商的营销数字，包括我们的——真正重要的那个测试大约花一小时。挑十分钟真正能代表您工作内容的音频：您的会议室、您的受访者、您的行话。为它准备一份细致的参考稿（这是慢工细活的部分——参考稿必须准确无误）。然后把同一段素材放进您要评估的每一家服务，对照您的参考稿去数替换、删除和插入。

两点实用提醒。第一，先统一标准再计数：事先决定“OK”和“okay”、数字与拼写出来的数目、或填充词算不算错误，并对每一个引擎套用同一套规则——大多数 DIY 比较是栽在这里，而不是栽在计数上。第二，别只停在错误率上：留意每个引擎漏掉的是哪类词，以及输出实际需要多少清理工作。有个几乎同样好用的捷径：把这段素材在每家都转录一遍，把每份稿子都修到可发布的质量，再给清理过程计时。在您的音频上让您改动最少的那个引擎，才是准确的那个，无论基准怎么说。

读懂厂商的准确率宣称（包括我们的）

当 Sonix 说“高达 99% 的准确率”时，这个数字描述的是清晰、录制良好的音频——近距离麦克风、极少的背景噪声、每次只有一个人说话。在那些条件下，这是个诚实的数字，而无论厂商说不说，每一家的头条数字都带着同样的附加说明。准确率会随噪声、距离、交叉说话和大幅压缩而下降；没有哪个引擎能例外，因为音频的物理特性决定了上限。

所以，把任何准确率宣称都当作是关于理想条件的宣称，而把您自己的录音当作真正算数的基准。改善音频——更近的麦克风、更安静的房间、一次一个人说话——对您的词错误率的帮助，会超过在任何两个现代引擎之间来回切换。而在这之后仍然残留的问题，一个能让您点一下可疑的词、就听到它背后音频的同步编辑器，才是弥合“测得的准确率”与“一份您能发布的转录稿”之间差距的关键。