Was ist die Word Error Rate?

Formel für die Word Error Rate

Die Wortfehlerrate — WER — ist die Standardmethode, um die Leistung eines automatischen Spracherkennungssystems (ASR) zu messen. Sie vergleicht das maschinelle Transkript mit einem sorgfältig erstellten menschlichen Referenztranskript und zählt drei Arten von Fehlern: Ersetzungen, Auslassungen und Einfügungen. Die Messung ist kniffliger, als sie klingt, denn das ASR-Ergebnis kann eine andere Länge haben als die gesprochene Eingabe.

Hier ist ein einfacher Weg, um zu verstehen, wie die WER berechnet wird:

Eine WER von 5% bedeutet ungefähr einen Fehler pro zwanzig Wörter — andersherum ausgedrückt: 95% Genauigkeit. Zahlen sind allerdings abstrakt. Hier richtet jeder Fehlertyp echten Schaden an:

WER-Rechner: Probieren Sie die Formel selbst aus

Jetzt, da Sie wissen, was als Fehler zählt, rechnen Sie nach. Legen Sie die Länge Ihres Referenztranskripts fest, ziehen Sie die gefundenen Fehler hinein und beobachten Sie, wie sich die Wortfehlerrate verändert — genau diese Rechnung steckt hinter jeder Genauigkeitsangabe, die Sie je lesen werden.

Das Genauigkeitsrennen und wo es endete

Die Spracherkennung hat seit den 1950er-Jahren einen weiten Weg zurückgelegt — unsere kurze Geschichte der Spracherkennung zeichnet den Weg bis hierher nach. Bis 2017 lieferten sich die größten Technologiekonzerne öffentlich ein Rennen um die WER, gemessen an einem Standard-Benchmark aus aufgezeichneten Telefongesprächen:

Mär 2017: IBM gibt 5,5% Word Error Rate an
Mai 2017: Google gibt 4,9% Word Error Rate an
Aug 2017: Microsoft gibt 5,1% Word Error Rate an

Diese Ankündigungen waren wichtig, weil sie sich der Fehlerrate professioneller menschlicher Transkribenten beim selben Benchmark näherten — dem Moment, den die Branche „menschliche Parität" nannte. Doch das Rennen auf sauberen Benchmarks endete faktisch in einer Ansammlung ähnlicher Zahlen. Bei sorgfältig aufgenommenen Testdaten aus einer einzigen Domäne schneidet jede ernstzunehmende moderne Engine gut ab — genau deshalb hörte die Benchmark-WER auf, die interessante Frage zu sein.

Die echten Unterschiede zwischen Transkriptionssystemen zeigen sich inzwischen anderswo: bei Meeting-Audio aus der Ferne, überlappenden Sprechern, starken Akzenten, Fachvokabular und verrauschten Aufnahmen aus der Praxis. Zwei Engines mit nahezu identischen Benchmark-Werten können sich bei Ihrer Telefonkonferenz am Dienstag völlig unterschiedlich verhalten — deshalb ist der einzige Vergleich, der zählt, derjenige, den Sie an Ihrem eigenen Audiomaterial durchführen.

Was die WER nicht misst

Die WER zählt Wortfehler und nichts sonst — und vieles, was ein Transkript brauchbar macht, ist für sie unsichtbar. Interpunktion und Groß-/Kleinschreibung fließen nicht in die Wertung ein: Eine Wand aus perfekt erkannten Wörtern ohne jede Interpunktion kann eine hervorragende WER erzielen und dabei miserabel zu lesen sein. Auch die Sprecherzuordnung wird nicht bewertet — die richtigen Wörter der falschen Person in den Mund zu legen, ist für die WER kostenlos. Zahlen, Daten und Namen werden genauso bewertet wie jedes andere Wort, obwohl es meist weit teurer ist, „MRSA" oder „Q3-Umsatz" falsch zu erfassen, als ein „der" zu verlieren.

Deshalb ist ein Transkript mit einer etwas höheren Fehlerrate, aber sauberer Interpunktion, Absätzen und Sprecherkennzeichnung oft nützlicher als ein technisch „genaueres" ohne Struktur. Wenn Sie die Transkriptionsqualität beurteilen, lesen Sie die Ausgabe als Dokument, nicht nur als Wortzählung — und gewichten Sie die Fehler danach, was sie Sie kosten würden, nicht danach, wie viele es sind.

So führen Sie Ihren eigenen WER-Test durch

Ignorieren Sie die Marketing-Zahl jedes Anbieters, auch unsere — der Test, der zählt, dauert etwa eine Stunde. Wählen Sie zehn Minuten Audio, das Ihre Arbeit wirklich repräsentiert: Ihre Besprechungsräume, Ihre Interviewpartner, Ihr Fachjargon. Erstellen Sie ein sorgfältiges Referenztranskript davon (das ist der langsame Teil — die Referenz muss stimmen). Lassen Sie dann denselben Clip durch jeden Dienst laufen, den Sie bewerten, und zählen Sie Ersetzungen, Auslassungen und Einfügungen gegen Ihre Referenz.

Zwei praktische Warnungen. Erstens: Normalisieren Sie, bevor Sie zählen. Legen Sie von vornherein fest, ob „OK" und „okay", Ziffern und ausgeschriebene Zahlen oder Füllwörter als Fehler zählen, und wenden Sie für jede Engine dieselben Regeln an — hier gehen die meisten Eigenvergleiche schief, nicht beim Zählen. Zweitens: Hören Sie nicht bei der Fehlerrate auf. Notieren Sie, welche Arten von Wörtern jede Engine verfehlt hat und wie viel Nacharbeit die Ausgabe tatsächlich erforderte. Eine Abkürzung, die fast genauso gut funktioniert: Transkribieren Sie den Clip überall, korrigieren Sie jedes Transkript auf Veröffentlichungsqualität und stoppen Sie die Zeit für die Nacharbeit. Die Engine, die Sie bei Ihrem Audiomaterial die wenigsten Korrekturen kostet, ist die genaue — egal, was die Benchmarks sagen.

Unser eigener Test, Wort für Wort

Den oben beschriebenen Test haben wir selbst durchgeführt. Die Aufnahme: Theodore Roosevelt liest „The Right of the People to Rule“ (Edison cylinder, August 1912), aufbewahrt von der Library of Congress (der US-Kongressbibliothek), 114 Jahre alt, 4 Minuten, eine Stimme, keine Musik. Im November 2026 haben wir die MP3 in ein Abo-Konto hochgeladen, das Transkript unverändert exportiert, es im Editor nach Gehör korrigiert und erneut exportiert. Der Vergleich des Rohexports mit dem korrigierten ergibt 707 Wörter, 11 Fehler und eine Wortfehlerrate von 1.6%: 8 Ersetzungen, 3 Einfügungen und 0 Auslassungen.

Gezählt wird nach den oben beschriebenen Regeln. Interpunktion sowie Groß- und Kleinschreibung bleiben unberücksichtigt, ein Kompositum mit Bindestrich zählt als zwei Wörter, und als Fehler gelten die wenigsten Änderungen, die aus dem, was die Engine gehört hat, das Gesagte machen. Beide Spalten übernehmen Interpunktion und Absätze des korrigierten Transkripts, damit sich die Rede leicht liest; die Wörter selbst stammen unverändert aus den Exporten.

Von den 8 Korrekturen betreffen 3 Eigennamen und 2 Wörter aus jener Zeit, die einer modernen Engine selten begegnen; die übrigen 3 sind fast gleich klingende Wörter, die auch ein Zuhörer überhören könnte. Alle zu korrigieren dauerte 4 Minuten im Editor, wobei jedes Wort mit seinem Moment im Audio verknüpft ist.

Den vollständigen Test mit Aufnahme, Zahlen und Editor-Screenshot finden Sie auf der Seite zum MP3-Konverter. Die Aufnahme selbst finden Sie bei der Library of Congress.

Genauigkeitsangaben von Anbietern richtig lesen (auch unsere)

Wenn Sonix von „bis zu 99% Genauigkeit" spricht, beschreibt diese Zahl klares, gut aufgenommenes Audio — nahe Mikrofone, minimale Hintergrundgeräusche, immer nur eine sprechende Person. Es ist unter diesen Bedingungen eine ehrliche Zahl, und die Schlagzeilen-Zahl jedes Anbieters trägt dasselbe Kleingedruckte, ob er es angibt oder nicht. Die Genauigkeit sinkt mit Störgeräuschen, Entfernung, Sprecherüberlagerung und starker Kompression; keine Engine ist davon ausgenommen, denn die Physik des Audios setzt die Obergrenze.

Behandeln Sie also jede Genauigkeitsangabe als Aussage über ideale Bedingungen und betrachten Sie Ihre eigenen Aufnahmen als den Maßstab, der zählt. Das Audio zu verbessern — ein näheres Mikrofon, ein ruhigerer Raum, immer nur eine Stimme — bringt Ihrer Wortfehlerrate mehr als der Wechsel zwischen zwei beliebigen modernen Engines. Und was danach noch übrig bleibt: Ein synchronisierter Editor, in dem Sie auf ein verdächtiges Wort klicken und das dahinterliegende Audio hören können, schließt die Lücke zwischen gemessener Genauigkeit und einem Transkript, das Sie veröffentlichen können.