単語誤り率とは 単語誤り率（Word Error Rate）

単語誤り率の計算式

単語誤り率（WER：Word Error Rate）は、自動音声認識（ASR）システムの性能を測る標準的な方法です。機械が出力した文字起こしを、人が丁寧に用意した基準となる文字起こし（リファレンス）と比較し、3種類の誤り——置換・削除・挿入——を数えます。ASRの出力は話した内容と長さが異なることがあるため、その計測は思うほど単純ではありません。

WERがどのように計算されるかを理解するための簡単な方法は以下の通りです。

WER 5% は、およそ20語に1語の誤りがあることを意味します——逆から言えば精度95% です。とはいえ数字は抽象的です。ここでは、それぞれの誤りが実際にどんな損害をもたらすかを見てみましょう：

WER計算ツール：自分で計算式を試す

何が誤りに数えられるか分かったところで、実際に計算してみましょう。基準となる文字起こしの語数を設定し、見つけた誤りをドラッグで加えると、単語誤り率が動きます——これこそ、あなたが目にするあらゆる精度表示の裏にある計算そのものです。

精度競争と、その行き着いた先

音声認識は1950年代から大きく進歩してきました——ここに至る道のりは音声認識の簡単な歴史で解説しています。2017年までに、大手テクノロジー企業各社は、録音された電話会話の標準ベンチマークを基準に、WERを公然と競い合っていました：

2017年3月: IBMが単語誤り率5.5%を達成と主張
2017年5月: Googleが単語誤り率4.9%を達成と主張
2017年8月: Microsoftが単語誤り率5.1%を達成と主張

これらの発表が重要だったのは、同じベンチマークでプロの人手による文字起こしの誤り率に迫ったからです——業界が「ヒューマン・パリティ（人間並みの精度）」と呼んだ瞬間です。しかしクリーンなベンチマーク上の競争は、似たような数値がひしめく中で事実上終わりました。丁寧に録音された単一領域のテストセットでは、まともな最新エンジンはどれも高得点を出します——だからこそ、ベンチマークのWERはもはや興味深い問いではなくなったのです。

文字起こしシステム間の本当の差は、いまや別のところに現れます：遠くのマイクで拾った会議音声、重なり合う話者、強い訛り、専門用語、そして雑音の多い実際の録音です。ベンチマークのスコアがほぼ同じ2つのエンジンでも、あなたの火曜の電話会議ではまったく違う挙動を見せることがあります——だからこそ、意味のある比較は、あなた自身の音声で行うものだけなのです。

WERが測らないもの

WERは語の誤りだけを数え、それ以外は数えません——そして文字起こしを使い物にする要素の多くは、WERには見えていません。句読点や大文字・小文字は採点されません：完璧に認識されていても句読点のない語の壁は、WERは優秀でも読むのは苦痛です。話者の割り当ても採点されません——正しい言葉を間違った人の口に入れても、WERにとっては無料です。数字・日付・名前も他の語と同じ扱いですが、「MRSA」や「第3四半期の売上」を間違える代償は、抜け落ちた助詞ひとつよりはるかに大きいのが普通です。

だからこそ、誤り率がわずかに高くても句読点・段落・話者ラベルが整った文字起こしのほうが、構造のない技術的に「より正確な」ものより役立つことがよくあります。文字起こしの品質を評価するときは、出力を単なる語数としてではなく、一つの文書として読みましょう——そして誤りは、数ではなく、それがあなたにいくらの代償をもたらすかで重み付けするのです。

自分でWERテストを行う方法

私たちのものを含め、どのベンダーのマーケティング数値も無視してください——本当に意味のあるテストは1時間ほどで済みます。あなたの仕事を本当に代表する10分の音声を選びましょう：あなたの会議室、あなたのインタビュー相手、あなたの専門用語です。それについて丁寧な基準文字起こし（リファレンス）を用意します（ここが時間のかかる部分です——リファレンスは正確でなければなりません）。そして同じクリップを評価対象の各サービスに通し、リファレンスと照らして置換・削除・挿入を数えます。

実務上の注意が2つ。まず、数える前に正規化しましょう：「OK」と「okay」、数字と漢数字（あるいはスペルアウトした数）、フィラー語を誤りに数えるかどうかを先に決め、すべてのエンジンに同じルールを適用します——DIY比較の多くは、数え方ではなくここで狂います。次に、誤り率で止まらないこと：各エンジンがどんな種類の語を取りこぼしたか、出力にどれだけの手直しが実際に必要だったかを記録します。ほぼ同じくらい有効な近道：同じクリップをすべてのサービスで文字起こしし、それぞれを公開品質まで直し、その手直しにかかった時間を計るのです。あなたの音声で最も修正が少なく済むエンジンが、ベンチマークが何と言おうと、正確なエンジンです。

ベンダーの精度表示の読み方（私たちのものも含めて）

Sonixが「最大99% の精度」と言うとき、その数値はクリアでしっかり録音された音声——近いマイク、最小限の背景雑音、一度に1人の話者——を指しています。その条件下では正直な数値であり、どのベンダーの見出し数値にも、明記していようといまいと同じ但し書きが付いています。精度は雑音・距離・かぶり（クロストーク）・強い圧縮で低下します。音声の物理的条件が上限を決めるため、例外のエンジンはありません。

ですから、あらゆる精度表示は理想的な条件についての主張だと捉え、あなた自身の録音こそが本当に意味を持つベンチマークだと考えてください。音声を良くすること——マイクを近づけ、部屋を静かにし、一度に1つの声にすること——は、最新のエンジンをあれこれ乗り換えるより、あなたの単語誤り率にずっと効きます。そしてそれでも残った分は、疑わしい語をクリックして背後の音声を聞ける同期エディタが、計測された精度と、公開できる文字起こしとの差を埋めてくれます。