単語誤り率とは 単語誤り率(Word Error Rate)

あらゆる文字起こしの精度表示の裏にある数値——その計算方法、隠している事実、そして自分の音声で測る方法。

単語誤り率の計算式

単語誤り率(WER:Word Error Rate)は、自動音声認識(ASR)システムの性能を測る標準的な方法です。機械が出力した文字起こしを、人が丁寧に用意した基準となる文字起こし(リファレンス)と比較し、3種類の誤り——置換・削除・挿入——を数えます。ASRの出力は話した内容と長さが異なることがあるため、その計測は思うほど単純ではありません。

WERがどのように計算されるかを理解するための簡単な方法は以下の通りです。

Sonix - 単語誤り率(Word Error Rate)の計算式

WER 5% は、およそ20語に1語の誤りがあることを意味します——逆から言えば精度95% です。とはいえ数字は抽象的です。ここでは、それぞれの誤りが実際にどんな損害をもたらすかを見てみましょう:

削除1語が欠落
あなたが言ったこと
その赤いボタンを押してはいけない
機械が書いたこと
その赤いボタンを押してはいけない

たった1語が消えるだけで、「押すな」という禁止がまるごと消え失せてしまう。

1回の削除 ÷ 5語 = WER 20% ——そして意味の100%

挿入1語が増加
あなたが言ったこと
このお寿司はとても新鮮
機械が書いたこと
このお寿司はとても新鮮じゃない

同じたった1語が招かれざる客のように紛れ込む。新鮮なはずのネタが、一転して危険物に。

1回の挿入 ÷ 4語 = WER 25%

置換1語を置換
あなたが言ったこと
熱があるからおばあちゃんを病院に連れて行って
機械が書いたこと
熱があるからおばあちゃんを病院美容院に連れて行って

「びょういん」と「びよういん」——たった一音の違いで、行き先が救急室から美容室に。

1回の置換 ÷ 6語 = WER 17%

WER計算ツール:自分で計算式を試す

何が誤りに数えられるか分かったところで、実際に計算してみましょう。基準となる文字起こしの語数を設定し、見つけた誤りをドラッグで加えると、単語誤り率が動きます——これこそ、あなたが目にするあらゆる精度表示の裏にある計算そのものです。

2.0%単語誤り率
98.0%精度

≈ 50語に1つの誤り

クリーンな音声の領域——さっと見直せばそのまま公開できます。

計算をリアルタイムで: (6 + 3 + 1) ÷ 500 = 2.0%

精度競争と、その行き着いた先

音声認識は1950年代から大きく進歩してきました——ここに至る道のりは音声認識の簡単な歴史で解説しています。2017年までに、大手テクノロジー企業各社は、録音された電話会話の標準ベンチマークを基準に、WERを公然と競い合っていました:

2017年3月: IBMが単語誤り率5.5%を達成と主張
2017年5月: Googleが単語誤り率4.9%を達成と主張
2017年8月: Microsoftが単語誤り率5.1%を達成と主張

これらの発表が重要だったのは、同じベンチマークでプロの人手による文字起こしの誤り率に迫ったからです——業界が「ヒューマン・パリティ(人間並みの精度)」と呼んだ瞬間です。しかしクリーンなベンチマーク上の競争は、似たような数値がひしめく中で事実上終わりました。丁寧に録音された単一領域のテストセットでは、まともな最新エンジンはどれも高得点を出します——だからこそ、ベンチマークのWERはもはや興味深い問いではなくなったのです。

文字起こしシステム間の本当の差は、いまや別のところに現れます:遠くのマイクで拾った会議音声、重なり合う話者、強い訛り、専門用語、そして雑音の多い実際の録音です。ベンチマークのスコアがほぼ同じ2つのエンジンでも、あなたの火曜の電話会議ではまったく違う挙動を見せることがあります——だからこそ、意味のある比較は、あなた自身の音声で行うものだけなのです。

WERが測らないもの

WERは語の誤りだけを数え、それ以外は数えません——そして文字起こしを使い物にする要素の多くは、WERには見えていません。句読点や大文字・小文字は採点されません:完璧に認識されていても句読点のない語の壁は、WERは優秀でも読むのは苦痛です。話者の割り当ても採点されません——正しい言葉を間違った人の口に入れても、WERにとっては無料です。数字・日付・名前も他の語と同じ扱いですが、「MRSA」や「第3四半期の売上」を間違える代償は、抜け落ちた助詞ひとつよりはるかに大きいのが普通です。

だからこそ、誤り率がわずかに高くても句読点・段落・話者ラベルが整った文字起こしのほうが、構造のない技術的に「より正確な」ものより役立つことがよくあります。文字起こしの品質を評価するときは、出力を単なる語数としてではなく、一つの文書として読みましょう——そして誤りは、数ではなく、それがあなたにいくらの代償をもたらすかで重み付けするのです。

自分でWERテストを行う方法

私たちのものを含め、どのベンダーのマーケティング数値も無視してください——本当に意味のあるテストは1時間ほどで済みます。あなたの仕事を本当に代表する10分の音声を選びましょう:あなたの会議室、あなたのインタビュー相手、あなたの専門用語です。それについて丁寧な基準文字起こし(リファレンス)を用意します(ここが時間のかかる部分です——リファレンスは正確でなければなりません)。そして同じクリップを評価対象の各サービスに通し、リファレンスと照らして置換・削除・挿入を数えます。

実務上の注意が2つ。まず、数える前に正規化しましょう:「OK」と「okay」、数字と漢数字(あるいはスペルアウトした数)、フィラー語を誤りに数えるかどうかを先に決め、すべてのエンジンに同じルールを適用します——DIY比較の多くは、数え方ではなくここで狂います。次に、誤り率で止まらないこと:各エンジンがどんな種類の語を取りこぼしたか、出力にどれだけの手直しが実際に必要だったかを記録します。ほぼ同じくらい有効な近道:同じクリップをすべてのサービスで文字起こしし、それぞれを公開品質まで直し、その手直しにかかった時間を計るのです。あなたの音声で最も修正が少なく済むエンジンが、ベンチマークが何と言おうと、正確なエンジンです。

当社自身のテストを一語ずつ

上で説明したテストを、当社自身で実施しました。録音はTheodore Rooseveltが「The Right of the People to Rule」を読み上げたもの(Edison cylinder, August 1912)で、米国議会図書館(Library of Congress)が所蔵しています。114年前の録音で、長さは4分、話者は1人、音楽はありません。2026年11月にこのMP3をサブスクリプションアカウントにアップロードし、文字起こしを手を加えずに書き出してから、エディターで耳で聞いて修正し、もう一度書き出しました。修正前と修正後の書き出しを比べると、707語中11語の誤りで、単語誤り率は1.6%でした。内訳は置換8、挿入3、削除0です。

数え方は上で説明したルールに従っています。句読点と大文字・小文字の違いは無視し、ハイフンでつながった複合語は2語として数えます。誤りの数は、エンジンが聞き取った内容を実際の発言に直すための最小の編集回数です。読みやすくするため、両方の列に修正後の文字起こしの句読点と段落区切りを入れていますが、単語はそれぞれの書き出しのままです。

エンジンが誤った8か所を、前後の数語とともに表示しています。スイッチをオンにすると、演説全体を最初から最後まで表示します。

演説全体です。エンジンが誤った8か所に印を付けています。

エンジンが聞き取った内容
実際の発言

The great fundamental issue. Now, before our people can be stated briefly, it appears, are the American people fit to govern themselves, to rule themselves, to control themselves? I believe they are. My opponents do not. I believe in the right of the people to rule. I believe that the majority of the plain people of the United States will, day in and day out, make fewer mistakes in governing themselves than any smaller class or body of men, no matter what their training will make in trying to govern them.

The great fundamental issue. Now, before our people can be stated briefly, it appears, are the American people fit to govern themselves, to rule themselves, to control themselves? I believe they are. My opponents do not. I believe in the right of the people to rule. I believe that the majority of the plain people of the United States will, day in and day out, make fewer mistakes in governing themselves than any smaller class or body of men, no matter what their training will make in trying to govern them.

I believe, again, that the American people are as a whole, capable of self-control and of learning by their mistakes. Our opponents pay lip loyalty to this doctrine, but they show their real beliefs by the way in which they champion every device to make them nominal rule of the people a sham.

I believe, again, that the American people are as a whole, capable of self-control and of learning by their mistakes. Our opponents pay lip loyalty to this doctrine, but they show their real beliefs by the way in which they champion every device to make them nominal rule of the people a sham.

I am not leading this fight as a matter of aesthetic pleasure. I am leading because somebody must lead, or else the fight would not be made at all. I prefer to work with moderate, with rational, conservatives, provided only that they do in good faith strive forward toward the light. But when they halt and turn their backs to the light and sit with the scorners on the seats of reaction, then I must part company with them. We, the people, cannot turn back. Our aim must be steady, wise progress. It would be well if our people would study the history of a sister, a mother.

I am not leading this fight as a matter of aesthetic pleasure. I am leading because somebody must lead, or else the fight would not be made at all. I prefer to work with moderate, with rational, conservatives, provided only that they do in good faith strive forward toward the light. But when they halt and turn their backs to the light and sit with the scorners on the seats of reaction, then I must part company with them. We, the people, cannot turn back. Our aim must be steady, wise progress. It would be well if our people would study the history of a sister, a mother.

All the woes of France for a century and a quarter had been due to the folly of her people in splitting into the doomed camps of unreasonable conservatism and unreasonable radicalism. Had pre-revolutionary France listened to men like Torgau and backed them up, all would have gone well. But the beneficiaries of privilege, the Bourbon reactionaries, the short sighted ultra conservatives, turned down to a go and then found that instead of him, they had obtained Robespierre.

All the woes of France for a century and a quarter had been due to the folly of her people in splitting into the doomed camps of unreasonable conservatism and unreasonable radicalism. Had pre-revolutionary France listened to men like Turgot and backed them up, all would have gone well. But the beneficiaries of privilege, the Bourbon reactionaries, the short sighted ultra conservatives, turned down Turgot and then found that instead of him, they had obtained Robespierre.

They gained 20 years freedom from all restraint and reform at the cost of the whirlwind of the Red terror, and in their turn, the unbridled extremists of the terror induced a blind reaction. And so, with convulsion and oscillation from one extreme to another, with alternations of violent radicalism and violent urbanism, the French people went through misery toward a shattered goal. May we pump it for the experiences of our brother Republicans across the water and go forward steadily, avoiding all wild extremes.

They gained 20 years freedom from all restraint and reform at the cost of the whirlwind of the Red terror, and in their turn, the unbridled extremists of the terror induced a blind reaction. And so, with convulsion and oscillation from one extreme to another, with alternations of violent radicalism and violent Bourbonism, the French people went through misery toward a shattered goal. May we profit for the experiences of our brother Republicans across the water and go forward steadily, avoiding all wild extremes.

And may our ultra conservatives remember that the rule of the Bourbons brought on the Revolution, and may our would be revolutionaries remember that no Bourbon was ever such a dangerous enemy of the people and of freedom as the professed friend of both Robespierre. There is no danger of a revolution in this country. But there is grave discontent and unrest, and in order to remove them, there is need of all the wisdom and probity and deep seated faith in and purpose to uplift humanity we have at our command.

And may our ultra conservatives remember that the rule of the Bourbons brought on the Revolution, and may our would be revolutionaries remember that no Bourbon was ever such a dangerous enemy of the people and of freedom as the professed friend of both Robespierre. There is no danger of a revolution in this country. But there is grave discontent and unrest, and in order to remove them, there is need of all the wisdom and probity and deep seated faith in and purpose to uplift humanity we have at our command.

Friends, our task as Americans is to strive for social and industrial justice achieved through the genuine rule of the people. This is our end, our purpose. The methods for achieving the end are merely expedience to be finally accepted or rejected according as actual experience shows that they work well or ill. But in our hearts, we must have this lofty purpose, and we must strive for it in all earnestness and sincerity, for our work will come to nothing.

Friends, our task as Americans is to strive for social and industrial justice achieved through the genuine rule of the people. This is our end, our purpose. The methods for achieving the end are merely expedients to be finally accepted or rejected according as actual experience shows that they work well or ill. But in our hearts, we must have this lofty purpose, and we must strive for it in all earnestness and sincerity, for our work will come to nothing.

In order to succeed, we need leaders of inspired idealism, leaders to whom our granted great visions, who dream greatly and strive to make their dreams come true, who can kindle the people with the fire from their own burning zones. The leader, for the time being, whoever he may be, is but an instrument to be used until broken and then to be cast aside. And if he is worth his salt, he will care no more when he is broken than a soldier cares When he is sent, where his life is forfeit, in order that the victory may be won in the long fight for righteousness. The watchword for all of us is spend and be spent.

In order to succeed, we need leaders of inspired idealism, leaders to whom are granted great visions, who dream greatly and strive to make their dreams come true, who can kindle the people with the fire from their own burning souls. The leader, for the time being, whoever he may be, is but an instrument to be used until broken and then to be cast aside. And if he is worth his salt, he will care no more when he is broken than a soldier cares where he is sent, where his life is forfeit, in order that the victory may be won in the long fight for righteousness. The watchword for all of us is spend and be spent.

聞き取り「Torgau」、 実際は「Turgot」: 置換1件。

語
707
置換
8
挿入
3
削除
0
誤り
11
単語誤り率
1.6%

8か所の修正のうち、3か所は固有名詞、2か所は最近のエンジンがめったに出会わない時代特有の語でした。残る3か所は、人が聞いても間違えそうな似た音の語です。すべての単語が音声の該当箇所に結びついているため、修正はエディターで4分で済みました。

録音、数値、エディターのスクリーンショットを含むテストの全容は、MP3コンバーターのページでご覧いただけます。 録音そのものは次のサイトで公開されています: 米国議会図書館。

ベンダーの精度表示の読み方(私たちのものも含めて)

Sonixが「最大99% の精度」と言うとき、その数値はクリアでしっかり録音された音声——近いマイク、最小限の背景雑音、一度に1人の話者——を指しています。その条件下では正直な数値であり、どのベンダーの見出し数値にも、明記していようといまいと同じ但し書きが付いています。精度は雑音・距離・かぶり(クロストーク)・強い圧縮で低下します。音声の物理的条件が上限を決めるため、例外のエンジンはありません。

ですから、あらゆる精度表示は理想的な条件についての主張だと捉え、あなた自身の録音こそが本当に意味を持つベンチマークだと考えてください。音声を良くすること——マイクを近づけ、部屋を静かにし、一度に1つの声にすること——は、最新のエンジンをあれこれ乗り換えるより、あなたの単語誤り率にずっと効きます。そしてそれでも残った分は、疑わしい語をクリックして背後の音声を聞ける同期エディタが、計測された精度と、公開できる文字起こしとの差を埋めてくれます。

今すぐ始める

Sonixを無料で試す

Sonixは、オーディオおよびビデオファイルを文字起こし、タイムスタンプ付与、整理することで、メディアの検索、編集、共有を可能にします。

30 minutes 分間の無料文字起こしが含まれています

続きを読む

99% の精度。 一言一句を大切に、いつでも。

54以上の言語対応の AI 文字起こしと翻訳。

30 minutes 無料
クレジットカード不要
いつでもキャンセル可能