Automatische Spracherkennung:
Funktionsweise und Geschichte der Spracherkennung seit 1952

Was ist ASR?

Automatische Spracherkennung (ASR, Automatic Speech Recognition) ist die Technologie, die gesprochene Sprache in geschriebenen Text umwandelt. Ein ASR-System nimmt ein Audiosignal auf, analysiert die darin enthaltenen Laute und berechnet die wahrscheinlichste Wortfolge. Darauf bauen Transkriptionssoftware, Sprachassistenten, Live-Untertitel, Diktierprogramme und die Sprachsuche auf.

ASR steht für Automatic Speech Recognition, also automatische Spracherkennung. Manche Anbieter schreiben auch Automated Speech Recognition, gemeint ist dasselbe. Die Kurzfassung in zwei Minuten finden Sie in unserem ASR-Überblick. Dieser Leitfaden geht tiefer, von der Engine bis zu 70 Jahren Forschung dahinter.

Der Begriff wird oft mit drei verwandten Begriffen verwechselt, und jeder beantwortet eine andere Frage:

• ASR (automatische Spracherkennung) wandelt Sprachaufnahmen in Text um und beantwortet die Frage „Was wurde gesagt?“
• Speech-to-Text ist dieselbe Technologie unter ihrem Produktnamen und beantwortet ebenfalls „Was wurde gesagt?“
• Stimmerkennung (Sprechererkennung) identifiziert oder verifiziert, wer spricht, und beantwortet „Wer hat es gesagt?“
• NLP (Verarbeitung natürlicher Sprache) deutet die Bedeutung von Text und beantwortet „Was bedeutet es?“

In der Praxis sind ASR und Speech-to-Text austauschbar: ASR ist der Fachbegriff aus der Technik, Speech-to-Text die Produktbezeichnung. Verwechselt wird vor allem die Stimmerkennung. Sie erkennt eine Person, so wie sich ein Smartphone nur für seinen Besitzer entsperrt, während ASR die Worte jedes Menschen transkribiert, ganz gleich, wer spricht. NLP setzt danach an: Erst wird aus dem Audio Text, dann fasst NLP ihn zusammen, beantwortet Fragen dazu oder leitet Aktionen daraus ab.

Wie funktioniert ASR?

Moderne ASR ist ein einziges neuronales Netz, das Audio direkt in Text übersetzt. Den Großteil ihrer Geschichte war sie jedoch eine Kette aus fünf getrennten Modellen.

Die klassische Verarbeitungskette, die die Geschichte weiter unten Stück für Stück aufbaut, funktioniert so:

1. Aufnahme und Vorverarbeitung. Das Audio wird digitalisiert, bereinigt und in kurze Frames zerlegt, meist einige Dutzend Millisekunden lang.
2. Merkmalsextraktion. Jeder Frame wird zu einer kompakten numerischen Beschreibung seiner Energie in verschiedenen Frequenzbereichen.
3. Akustisches Modell. Dieses Modell ordnet die Merkmale Phonemen zu, den kleinsten Lauteinheiten einer Sprache, und ermittelt, welche Laute wahrscheinlich gesprochen wurden.
4. Sprachmodell. Dieses Modell weiß, welche Wortfolgen wahrscheinlich sind. Deshalb schreibt eine Engine „eine Lehre daraus ziehen“ und nicht „eine Leere daraus ziehen“: Beides passt zum Audio, aber nur eines ergibt in der Sprache Sinn.
5. Decoder. Der Decoder durchsucht die kombinierten Wahrscheinlichkeiten aus akustischem Modell und Sprachmodell und gibt den wahrscheinlichsten Satz aus.

Der Wechsel zu End-to-End

Seit Mitte der 2010er lernen End-to-End-Modelle aus dem Deep Learning, inzwischen meist auf Basis der Transformer-Architektur, den Weg vom rohen Audio zum Text direkt. Trainiert werden sie mit Hunderttausenden Stunden Sprache. Es gibt kein handgebautes Aussprachewörterbuch und kein separates akustisches Modell mehr, das Netz lernt alles auf einmal. Dieser Umbruch ist der Hauptgrund, warum die Genauigkeit von Transkriptionen in den 2010ern stärker gestiegen ist als in den vier Jahrzehnten davor.

Weil diese Modelle aus riesigen Mengen Audio lernen, kommen sie mit Akzenten, Hintergrundgeräuschen und natürlichen Gesprächen weit besser zurecht als die alten Verarbeitungsketten. Zeichensetzung und Groß- und Kleinschreibung erledigen sie im selben Durchgang, sodass sich ein modernes Transkript wie ein fertiges Dokument liest.

So misst man die ASR-Genauigkeit

Die Standardkennzahl ist die Wortfehlerrate (WER, Word Error Rate): Das maschinelle Transkript wird mit einem sorgfältig erstellten menschlichen Transkript verglichen, und jedes ersetzte, ausgelassene oder eingefügte Wort zählt als Fehler. Eine WER von 5 % bedeutet ungefähr einen Fehler alle 20 Wörter, also 95 % Genauigkeit. Die WER hängt vollständig vom Testaudio ab, deshalb lassen sich die Genauigkeitsangaben zweier Anbieter selten vergleichen. Unser Leitfaden erklärt die Formel und enthält einen Rechner.

Spracherkennung auf einen Blick

Die Geschichte der Spracherkennung beginnt 1952 in den Bell Labs

Der erste Spracherkenner entstand 1952 in den Bell Labs und verstand genau zehn Wörter: die Ziffern null bis neun.

Audrey, der Automatic Digit Recognizer

K. H. Davis, R. Biddulph und S. Balashek bauten Audrey aus analogen Schaltungen, die einen gut 1,80 Meter hohen Relaisschrank füllten. Ein Sprecher sagte eine Ziffer in einen Telefonhörer, die Maschine maß die Vokalformanten, und neben der erkannten Ziffer leuchtete eine Lampe auf. Auf die Stimmen ihrer Entwickler abgestimmt erreichte sie 97 bis 99 Prozent; bei Fremden brach sie ein. Audrey verließ das Labor nie, weil ein Mensch, der die Nummern wählte, billiger war, aber sie klärte die Frage, ob eine Maschine überhaupt hören kann.

IBMs Shoebox und die 1960er Jahre

1962 stellte IBM auf der Weltausstellung in Seattle Shoebox vor. Das Gerät erkannte 16 gesprochene Wörter, die zehn Ziffern und sechs Rechenbefehle, und steuerte damit eine Addiermaschine. Labore in den USA, Großbritannien, Japan und der Sowjetunion bauten Erkenner für Vokale und kleine Wortlisten, und 1968 beschrieb Taras Vintsyuk das Dynamic Time Warping, mit dem eine Maschine unterschiedlich schnell gesprochene Sprache vergleichen konnte. 1969 hatte das Fachgebiet zwar Ehrgeiz, aber keine Theorie, und John Pierce von den Bell Labs verglich es mit Plänen, Wasser in Benzin zu verwandeln.

Das DARPA-Programm Speech Understanding Research brachte den Wortschatz auf über 1.000 Wörter

Zwischen 1971 und 1976 finanzierte die DARPA das bis dahin größte Vorhaben zur Spracherkennung, und Harpy von der Carnegie Mellon University erreichte das Ziel von 1.000 Wörtern.

Das Fünfjahresziel

Das Programm Speech Understanding Research forderte ein System, das zusammenhängende Sprache mehrerer Sprecher mit einem Wortschatz von 1.000 Wörtern und weniger als 10 Prozent Fehlern verstehen sollte, und bezahlte Carnegie Mellon, BBN, SRI und andere dafür, gegeneinander anzutreten. Harpy, 1976 an der Carnegie Mellon fertiggestellt, verstand 1.011 Wörter, etwa den Wortschatz eines dreijährigen Kindes, und erreichte als einziges System das Ziel. Der Kniff war eine Suche, die unwahrscheinliche Wortfolgen früh verwarf, statt jede Möglichkeit abzuwägen. Diese Idee steckt bis heute im Kern jedes Decoders.

Die statistische Wende

Aus denselben Jahren stammt die Idee, die für die nächsten 40 Jahre alles andere schlug. An der Carnegie Mellon University beschrieb James Baker 1975 in seiner Dissertation das System DRAGON, das Sprache als Hidden-Markov-Modell behandelte und Wahrscheinlichkeiten statt handgeschriebener Regeln entscheiden ließ, welche Wörter gesagt worden waren. Bei IBM baute die Gruppe um Fred Jelinek denselben Ansatz in ein Forschungssystem fürs Diktieren ein und ergänzte n-Gramm-Sprachmodelle, sodass der Erkenner das nächste Wort aus den beiden vorherigen erraten konnte. Die Bell Labs gingen derweil von einer Stimme zu vielen über und bauten Erkenner, die über Sprecher hinweg funktionierten, wie es Telefonanwendungen verlangten.

Hidden-Markov-Modelle machten die Spracherkennung in den 1980ern statistisch

Die 1980er ersetzten den Mustervergleich durch Wahrscheinlichkeiten, und der Wortschatz wuchs innerhalb eines Jahrzehnts von wenigen hundert auf 20.000 Wörter.

Wie ein Hidden-Markov-Modell hört

Ein Hidden-Markov-Modell versucht nicht, einen Klang mit einer Vorlage abzugleichen. Es fragt, welche Folge von Sprachlauten das empfangene Audio am wahrscheinlichsten erzeugt hat, und dann, welche Wortfolge am wahrscheinlichsten diese Laute erzeugt hat. Das Training mit aufgezeichneter Sprache legt die Wahrscheinlichkeiten fest, mehr Daten bedeuten also einen besseren Erkenner, eine Eigenschaft, die mit dem Aufkommen des Internets enorm wichtig werden sollte. In Kombination mit n-Gramm-Sprachmodellen wurde das HMM zur Standardarchitektur in jedem Forschungslabor und blieb es, bis Deep Learning es 2012 verdrängte.

Tangora, Sphinx und die ersten Produkte

IBMs Tangora erkannte Mitte der 1980er einen Wortschatz von 20.000 Wörtern, brauchte aber eine Pause zwischen den Wörtern und ein Training auf jeden Sprecher. 1988 vereinte Kai-Fu Lees System Sphinx an der Carnegie Mellon University als erstes großen Wortschatz, kontinuierliche Sprache und Sprecherunabhängigkeit in einem Erkenner. Dragon Systems, 1982 von James und Janet Baker gegründet, begann Erkennungssoftware für Personal Computer zu verkaufen. Auch Verbraucher kamen erstmals mit Spracherkennung in Berührung: Die Puppe Julie von Worlds of Wonder reagierte 1987 auf eine Handvoll gesprochener Sätze, und Telefongesellschaften erprobten die Sprachwahl. Die Spielzeuge waren primitiv, aber sie brachten das Wort "Spracherkennung" in ganz normale Haushalte.

Die 1990er brachten die Spracherkennung auf den PC

Schnellere Prozessoren machten aus dem Diktieren im Labor Software aus dem Regal, und ein gemeinsamer Benchmark machte den Fortschritt leicht messbar.

Von Dragon Dictate zu NaturallySpeaking

Dragon Dictate kam 1990 für rund 9.000 Dollar auf den Markt. Es war das erste Spracherkennungsprodukt, das jeder kaufen konnte, und es verlangte nach jedem Wort eine Pause. 1997 schaffte Dragon NaturallySpeaking die Pause ab: Es erkannte kontinuierliche Sprache mit rund 100 Wörtern pro Minute auf einem Heim-PC, und IBM antwortete im selben Jahr mit ViaVoice. Zum ersten Mal konnten Anwälte, Ärzte oder Autoren mit einem Computer sprechen und brauchbaren Text bekommen, sofern sie ihn trainierten und korrigierten.

Telefonmenüs und die ersten Benchmarks

1996 startete BellSouth VAL, ein Sprachportal zum Anrufen, das gesprochene Fragen beantwortete, und jedes automatische Telefonsystem, mit dem Sie sich seither gestritten haben, stammt davon ab. Im Hintergrund führten die DARPA und das National Institute of Standards and Technology jährliche Auswertungen auf gemeinsamen Aufnahmen wie dem Telefonkorpus Switchboard durch, und die Wortfehlerrate wurde zur Kennzahl, die jedes Labor meldete. Von da an ist die Geschichte der Spracherkennung weitgehend die Geschichte dieser sinkenden Zahl.

Die 2000er verlagerten die Spracherkennung in die Cloud

Die Genauigkeit stagnierte den Großteil des Jahrzehnts bei etwa 80 Prozent, bis Google die Erkennung vom Gerät auf seine Server verlegte.

Das Plateau

2001 transkribierten die besten Systeme diktierte Sprache mit rund 80 Prozent Genauigkeit, und die folgenden Jahre brachten Feinschliff statt Sprünge. Diktieren am Desktop blieb eine Nische, die Telefonmenüs blieben frustrierend, und die Forschungsgelder wurden knapper. Das Hidden-Markov-Modell war nahe an seiner Obergrenze, und den Modellen, die es ablösen sollten, fehlten noch die Rechenleistung und die Daten.

Google Voice Search

Googles Telefonauskunft GOOG-411, 2007 gestartet, sammelte Millionen gesprochener Suchanfragen. Im November 2008 erschien Google Voice Search als iPhone-App, und die Spracherkennung änderte ihre Form: Das Telefon nahm nur noch auf, die Erkennung lief in Googles Rechenzentren auf Modellen, die weit größer waren, als je auf ein Gerät gepasst hätten, trainiert mit 230 Milliarden Wörtern aus Suchanfragen. Aus einem Programm wurde ein Dienst, und diese Form hat die Spracherkennung bis heute.

Deep Learning senkte die Fehlerraten in den 2010ern um mehr als die Hälfte

Zwischen 2011 und 2017 fiel die Wortfehlerrate bei Telefongesprächen von gut 10 Prozent auf etwa 5 Prozent, und Sprachassistenten zogen in die Wohnzimmer ein.

Siri und die Assistenten

Apple brachte Siri im Oktober 2011 mit dem iPhone 4S heraus, Amazon folgte 2014 mit Alexa auf dem Echo, Google 2016 mit Google Home. Wichtig waren die Assistenten weniger wegen ihrer Erkennung, die wie bei Google Voice Search in der Cloud lief, als wegen der Gewohnheit, die sie prägten: Hunderte Millionen Menschen begannen, täglich mit Maschinen zu sprechen, und jede Äußerung wurde zu Trainingsdaten.

Der Schritt zum neuronalen Netz

2012 veröffentlichten Forscher von Microsoft, Google, IBM und der University of Toronto, darunter Geoffrey Hinton, eine gemeinsame Arbeit, die zeigte, dass tiefe neuronale Netze auf der akustischen Seite des Problems die Fehlerraten um bis zu ein Drittel senkten, verglichen mit den Gauß-Mischmodellen, die HMM-Systeme 25 Jahre lang verwendet hatten. Baidus Deep Speech ging 2014 noch weiter und trainierte ein einzelnes rekurrentes Netz End-to-End, vom Audio bis zu den Buchstaben, ohne Aussprachewörterbuch und ohne handgebaute Pipeline. Erkennung wurde zu einem Deep-Learning-Problem, und die Labore mit den meisten GPUs und Daten zogen davon.

Das Rennen um menschliches Niveau

Der Switchboard-Benchmark, eine Sammlung aufgezeichneter Telefongespräche, wurde zur Anzeigetafel. Im Oktober 2016 meldete Microsoft eine Wortfehlerrate von 5,9 Prozent, genauso viel wie die professionellen Transkribierenden, die es für dieselben Gespräche engagiert hatte, und sprach von menschlicher Parität. IBM antwortete im März 2017 mit 5,5 Prozent, Google verkündete im Mai 4,9 Prozent auf eigenen Testsätzen, und im August 2017 erreichte Microsoft 5,1 Prozent gegenüber einer sorgfältigeren menschlichen Vergleichsbasis. Das Diagramm unten aus Mary Meekers Internet Trends Report 2017 zeigt, wie Googles Wortgenauigkeit die Marke von 95 Prozent überschreitet. Im selben Jahr wurde die Transformer-Architektur veröffentlicht, und binnen drei Jahren hatte sie auch die Spracherkennung übernommen.

Whisper und der Transformer machten Transkription zur Massenware

Selbstüberwachtes Training und ein offenes Modell machten aus genauer mehrsprachiger Transkription, bis dahin eine Fähigkeit der Tech-Konzerne, etwas, das jedes Produkt anbieten kann.

Lernen aus ungelabeltem Audio

Der Engpass der 2010er waren gelabelte Daten: Jede Trainingsstunde brauchte ein von Menschen erstelltes Transkript. 2020 lernte wav2vec 2.0 von Facebook AI Sprachrepräsentationen zunächst aus rohem, nicht transkribiertem Audio und brauchte dann gerade einmal zehn Minuten gelabelte Sprache, um daraus per Fine-Tuning einen brauchbaren Erkenner zu machen. Googles Conformer, im selben Jahr veröffentlicht, verband Faltungsschichten mit Transformer-Attention und stellte auf den Standard-Benchmarks neue Rekorde auf. Zusammen machten sie den Transformer zur Standardarchitektur für Sprache und senkten die Kosten, eine neue Sprache hinzuzufügen.

Whisper

Im September 2022 veröffentlichte OpenAI Whisper, trainiert mit 680.000 Stunden Audio aus dem Web, für fast 100 Sprachen, mit Modellgewichten, die jeder herunterladen und ausführen kann. Es war nicht auf jedem Benchmark das genaueste System, aber es kam mit Akzenten, Hintergrundgeräuschen und Fachvokabular zurecht wie kein akademisches Modell zuvor, und es war kostenlos. Binnen Monaten steckte es in Tausenden Produkten, und für Transkriptionsanbieter lautete die Frage nicht mehr, ob sie Sprache erkennen können, sondern was sie rund um das Transkript bauen.

Die automatische Sprachidentifikation hat ihre eigene Geschichte

Zu erkennen, welche Sprache gesprochen wird, ist ein anderes Problem, als zu erkennen, welche Wörter gesagt werden, und es brauchte seine eigenen 50 Jahre bis zur Lösung.

Von Phonemstatistik zu i-Vektoren

Die ersten Experimente zur Sprachidentifikation in den 1970ern unterschieden Sprachen anhand der Statistik ihrer Laute. In den 1990ern wurde daraus der phonotaktische Ansatz: Ein Phonemerkenner läuft über das Audio, dann wird geprüft, zu welcher Sprache die Phonemmuster am besten passen. 1996 startete das NIST seine offiziellen Language Recognition Evaluations. In den 2010ern lieferte der i-Vektor, eine kompakte Zusammenfassung einer Aufnahme aus der Sprechererkennung, Systeme, die eine Sprache nach wenigen Sekunden Audio benennen konnten.

Im Modell eingebaut

Moderne mehrsprachige Erkenner falten die beiden Probleme zusammen. Whisper und seine Nachfolger sagen die Sprache als erstes Token des Transkripts vorher, die Identifikation ist also ein Nebenprodukt der Erkennung und kein eigener Schritt. Das erlaubt es einem Produkt, 54+ Sprachen ohne einen eigenen Erkenner pro Sprache zu verarbeiten, und deshalb begrenzt die Sprache, die Sie sprechen, nicht mehr, was Sie transkribieren können.

Wo ASR heute steht

Bei klarem, gut aufgenommenem Audio ist moderne ASR so gut wie gelöst. Die Engines unterscheiden sich heute bei schwierigem Audio und darin, was sie mit dem fertigen Transkript anfangen.

Die Benchmark-Werte ernsthafter Engines liegen inzwischen dicht beieinander. Die Frage an einen Anbieter lautet daher nicht mehr „Wie genau sind Sie?“, sondern wie er mit Ihrem Audio umgeht und was er aus dem Transkript macht. Sonix ist ein praktisches Beispiel für ASR im Produktiveinsatz 2026:

Genauigkeit, ehrlich gemessen

Sonix erreicht bei klarem, hochwertigem Audio 99% Genauigkeit und liefert eine einstündige Aufnahme mit automatischer Transkription in etwa 5 bis 6 Minuten. Jede Genauigkeitsangabe, auch unsere, hängt vom Audio ab. Der einzige Benchmark, der zählt, ist daher ein Test mit Ihren eigenen Aufnahmen.

Sprachen

Sonix transkribiert und übersetzt in 54+ Sprachen. Seit Modellen wie Whisper ist eine breite Sprachabdeckung Standard statt Ausnahme, und die Genauigkeit in jeder Sprache hängt davon ab, wie viel Trainingsaudio es für sie gibt.

Echtzeit

Echtzeit-Transkription liefert Untertitel in weniger als 2 Sekunden, während noch gesprochen wird. Das ist ein direkter Gewinn der End-to-End-Architektur.

Wer hat was gesagt

Engines trennen Sprecher heute automatisch, eine Aufgabe namens Sprechertrennung (Speaker Diarization). Unser Leitfaden zur Sprechertrennung erklärt, wie das funktioniert und wo es noch hakt.

Mehr als ein Transkript

Zusammenfassungen, Kapitel und Übersetzungen machen aus rohem Text etwas, mit dem Sie arbeiten können. ASR ist heute die erste Stufe einer Verstehenskette statt das Endprodukt, und Ihre ersten 30 Minuten bei Sonix sind kostenlos, damit Sie es mit Ihrem eigenen Audio ausprobieren können.

Wohin sich ASR entwickelt: schwieriges Audio, Datenschutz und Verstehen

Das Rennen um Benchmarks ist vorbei. Übrig sind die unspektakulären Aufgaben: schwieriges Audio, private Bereitstellung und der Schritt von Wörtern zum Verstehen.

Harte Fälle

Sich überlagernde Sprecher, weit entfernte Mikrofone, starke Akzente, Sprachwechsel mitten im Satz und Fachvokabular verschlechtern jede Engine, auch unsere. End-to-End-Modelle haben zudem eine neue Fehlerart mitgebracht: Bei Stille oder Rauschen halluzinieren sie gelegentlich flüssigen Text. Daran wird aktiv geforscht, gelöst ist das Problem nicht.

Auf dem Gerät

Künftig wird mehr Erkennung auf Smartphones, Laptops und Ohrhörern laufen statt in der Cloud, für mehr Datenschutz und mehr Tempo. Dieselbe Komprimierung, die Modelle der Whisper-Klasse geschrumpft hat, bringt genaue Erkennung auf Hardware, die Audio nirgendwohin sendet.

Vom Transkript zum Verstehen

Große Sprachmodelle fassen heute Meetings zusammen, beantworten Fragen zu einem Interview und entwerfen die Nachbereitung einer Vorlesung, und das gelingt ihnen nur, weil das Transkript darunter genau ist. Sprache wird als Schnittstelle immer wichtiger. Dass sie jeden Bildschirm ersetzen wird, hört man seit den 1990ern, und uns würde schon reichen, wenn sie zuverlässig festhält, was Menschen tatsächlich gesagt haben.