Automatisk talegenkendelse:
sådan virker ASR, og talegenkendelsens historie siden 1952

Hvad er ASR?

Automatisk talegenkendelse (ASR) er teknologien, der omsætter talt sprog til skrevet tekst. Et ASR-system tager et lydsignal, analyserer lydene i det og beregner den mest sandsynlige rækkefølge af ord. Teknologien ligger bag transskriptionssoftware, stemmeassistenter, liveundertekster, dikteringsværktøjer og stemmesøgning.

ASR står for automatic speech recognition, på dansk automatisk talegenkendelse. Nogle leverandører kalder det automated speech recognition, men det dækker over det samme. Har du kun to minutter, så læs vores ASR-introduktion. Denne guide går et lag dybere, fra selve motoren til de 70 års forskning bag den.

Begrebet bliver ofte blandet sammen med tre beslægtede begreber, og de svarer hver især på et andet spørgsmål:

• ASR (automatisk talegenkendelse) omsætter tale til tekst og svarer på "hvad blev der sagt?"
• Tale-til-tekst er den samme teknologi under produktnavnet og svarer også på "hvad blev der sagt?"
• Stemmegenkendelse (talergenkendelse) identificerer eller bekræfter, hvem der taler, og svarer på "hvem sagde det?"
• NLP (naturlig sprogbehandling) fortolker, hvad en tekst betyder, og svarer på "hvad betyder det?"

I praksis er ASR og tale-til-tekst to navne for det samme: ASR er ingeniørernes begreb, tale-til-tekst er produktbetegnelsen. Det er stemmegenkendelse, folk oftest forveksler det med. Stemmegenkendelse genkender en bestemt person, som når en telefon kun låser op for sin ejer, mens ASR transskriberer alles ord uden at interessere sig for, hvem der sagde dem. NLP kommer bagefter: Først bliver lyden til tekst, og derefter kan NLP opsummere teksten, besvare et spørgsmål om den eller handle på den.

Hvordan virker ASR?

Moderne ASR er ét neuralt netværk, der går direkte fra lyd til tekst. Men i det meste af sin historie var det en kæde af fem separate modeller.

Den klassiske kæde, som historien nedenfor bygger op stykke for stykke, ser sådan ud:

1. Optagelse og forbehandling. Lyden bliver digitaliseret, renset og skåret op i korte rammer, typisk et par snese millisekunder lange.
2. Udtræk af kendetegn. Hver ramme bliver til en kompakt talbeskrivelse af energien ved forskellige frekvenser.
3. Akustisk model. Modellen kobler kendetegnene til fonemer, et sprogs mindste lydenheder, og vurderer, hvilke lyde der sandsynligvis blev sagt.
4. Sprogmodel. Modellen ved, hvilke ordfølger der er sandsynlige. Derfor skriver en motor "recognize speech" og ikke "wreck a nice beach": Begge passer til lyden, men kun den ene giver mening i sproget.
5. Dekoder. Dekoderen gennemsøger de samlede sandsynligheder fra den akustiske model og sprogmodellen og leverer den mest sandsynlige sætning.

Skiftet til end-to-end

Siden midten af 2010'erne har end-to-end-modeller baseret på deep learning, de fleste i dag bygget på Transformer-arkitekturen, lært at gå direkte fra rå lyd til tekst. De trænes på hundredtusindvis af timers tale. Der er ingen håndbygget udtaleordbog og ingen separat akustisk model, for netværket lærer det hele på én gang. Det skift er hovedårsagen til, at transskriptionsnøjagtigheden blev mere forbedret i 2010'erne end i de fire årtier før.

Fordi modellerne lærer af lyd i enorm skala, klarer de accenter, baggrundsstøj og naturlig samtale langt bedre end de gamle kædesystemer. De sætter også tegn og store bogstaver i samme omgang, så en moderne transskription kan læses som et færdigt dokument.

Sådan måles ASR-nøjagtighed

Standardmålet er word error rate (WER, ordfejlrate): Maskinens transskription sammenlignes med en omhyggelig manuel transskription, og hvert ombyttet, udeladt og indsat ord tæller som en fejl. En WER på 5% betyder cirka én fejl for hver 20 ord, altså 95% nøjagtighed. WER afhænger helt af testlyden, og derfor kan to leverandørers tal sjældent sammenlignes. Vores guide forklarer formlen og har en indbygget beregner.

Talegenkendelse i korte træk

Talegenkendelsens historie begynder hos Bell Labs i 1952

Det første talegenkendelsessystem blev bygget hos Bell Labs i 1952, og det forstod præcis ti ord: cifrene fra nul til ni.

Audrey, den automatiske cifergenkender

K. H. Davis, R. Biddulph og S. Balashek byggede Audrey af analoge kredsløb, der fyldte et relæstativ på knap to meter. En taler sagde et ciffer ind i et telefonrør, maskinen målte vokalernes formanter, og en lampe lyste op ved siden af det ciffer, den hørte. Indstillet efter konstruktørernes egne stemmer ramte den rigtigt i 97 til 99 procent af tilfældene; med fremmede stemmer faldt den fra hinanden. Audrey forlod aldrig laboratoriet, fordi en telefonist, der tastede numrene ind, var billigere, men den afgjorde spørgsmålet om, hvorvidt en maskine overhovedet kunne høre.

IBM's Shoebox og 1960'erne

I 1962 viste IBM maskinen Shoebox frem på verdensudstillingen i Seattle. Den genkendte 16 talte ord, de ti cifre og seks regnekommandoer, og brugte dem til at styre en regnemaskine. Laboratorier i USA, Storbritannien, Japan og Sovjetunionen byggede systemer, der kunne genkende vokaler og korte ordlister, og i 1968 beskrev Taras Vintsyuk dynamic time warping, en metode der lod en maskine sammenligne tale udtalt i forskelligt tempo. I 1969 havde feltet store ambitioner, men ingen teori, og John Pierce fra Bell Labs sammenlignede det med planer om at lave vand om til benzin.

DARPA's Speech Understanding Research-program bragte ordforrådet over 1.000 ord

Fra 1971 til 1976 finansierede DARPA den hidtil største satsning på talegenkendelse, og Carnegie Mellons Harpy nåede målet på 1.000 ord.

Det femårige mål

Programmet Speech Understanding Research efterlyste et system, der kunne forstå sammenhængende tale fra flere talere med et ordforråd på 1.000 ord og under 10 procent fejl, og det betalte Carnegie Mellon, BBN, SRI og andre for at konkurrere. Harpy, der stod færdig på Carnegie Mellon i 1976, forstod 1.011 ord, omtrent ordforrådet hos en treårig, og var det eneste system, der nåede målet. Tricket var en søgning, der tidligt sorterede usandsynlige ordfølger fra i stedet for at veje alle muligheder. Den idé er stadig kernen i enhver dekoder.

Den statistiske vending

De samme år fostrede den idé, der slog alt andet af banen de næste 40 år. På Carnegie Mellon beskrev James Bakers afhandling fra 1975 DRAGON-systemet, som behandlede tale som en skjult Markov-model og lod sandsynligheder, ikke håndskrevne regler, afgøre, hvilke ord der var blevet sagt. Hos IBM byggede Fred Jelineks gruppe samme tilgang ind i et dikteringssystem til forskningsbrug og tilføjede n-gram-sprogmodeller, så systemet kunne gætte det næste ord ud fra de to foregående. Bell Labs gik i mellemtiden fra én stemme til mange og byggede systemer, der virkede på tværs af talere, hvilket telefonanvendelser krævede.

Skjulte Markov-modeller gjorde talegenkendelse statistisk i 1980'erne

I 1980'erne blev mønstersammenligning afløst af sandsynlighedsregning, og ordforrådet voksede fra nogle få hundrede ord til 20.000 på et årti.

Sådan hører en skjult Markov-model

En skjult Markov-model forsøger ikke at matche en lyd med en skabelon. Den spørger, hvilken sekvens af talelyde der mest sandsynligt frembragte den lyd, den modtog, og dernæst hvilken sekvens af ord der mest sandsynligt frembragte de lyde. Træning på optaget tale fastlægger sandsynlighederne, så flere data giver et bedre system, en egenskab, der skulle vise sig at betyde enormt meget, da internettet kom. Kombineret med n-gram-sprogmodeller blev HMM'en standardarkitekturen i alle forskningslaboratorier og blev der, indtil deep learning fortrængte den i 2012.

Tangora, Sphinx og de første produkter

IBM's Tangora genkendte et ordforråd på 20.000 ord i midten af 1980'erne, men krævede en pause mellem ordene og træning på hver enkelt taler. I 1988 blev Kai-Fu Lees Sphinx-system på Carnegie Mellon det første, der kombinerede et stort ordforråd, sammenhængende tale og taleruafhængighed i ét system. Dragon Systems, grundlagt af James og Janet Baker i 1982, begyndte at sælge genkendelsessoftware til personlige computere. Stemmegenkendelse nåede også ud til forbrugerne for første gang: Worlds of Wonders Julie-dukke svarede på en håndfuld talte sætninger i 1987, og telefonselskaberne afprøvede stemmestyret opkald. Legetøjet var primitivt, men det bragte udtrykket "stemmegenkendelse" ind i almindelige hjem.

I 1990'erne kom talegenkendelse ud på pc'en

Hurtigere processorer forvandlede diktering fra en laboratoriedemonstration til hyldevare, og en fælles benchmark gjorde fremskridt lette at måle.

Fra Dragon Dictate til NaturallySpeaking

Dragon Dictate kom på markedet i 1990 til omkring 9.000 dollars. Det var det første talegenkendelsesprodukt, en almindelig borger kunne købe, og det krævede en pause efter hvert ord. I 1997 fjernede Dragon NaturallySpeaking pausen: Det genkendte sammenhængende tale med omkring 100 ord i minuttet på en hjemme-pc, og IBM svarede igen med ViaVoice samme år. For første gang kunne en advokat, en læge eller en forfatter tale til en computer og få brugbar tekst ud af det, forudsat at de trænede og rettede den.

Telefonmenuer og de første benchmarks

I 1996 lancerede BellSouth VAL, en stemmeportal, man ringede op til, og som besvarede talte spørgsmål, og alle de automatiske telefonsystemer, du har skændtes med siden, nedstammer fra den. Bag kulisserne kørte DARPA og National Institute of Standards and Technology årlige evalueringer på fælles optagelser som telefonkorpusset Switchboard, og ordfejlraten (WER) blev det tal, alle laboratorier rapporterede. Fra da af er talegenkendelsens historie i høj grad historien om ét tal, der falder.

2000'erne flyttede talegenkendelse op i skyen

Nøjagtigheden gik i stå omkring 80 procent det meste af årtiet, indtil Google flyttede genkendelsen væk fra enheden og over på sine servere.

Plateauet

I 2001 transskriberede de bedste systemer dikteret tale med omkring 80 procent nøjagtighed, og de følgende år bød på finjusteringer snarere end spring. Diktering på skrivebordet forblev en niche, telefonmenuerne forblev frustrerende, og forskningsmidlerne svandt ind. Den skjulte Markov-model var tæt på sit loft, og de modeller, der skulle afløse den, havde endnu hverken regnekraften eller de data, de behøvede.

Google Voice Search

Googles nummeroplysning GOOG-411, der blev lanceret i 2007, indsamlede millioner af talte forespørgsler. I november 2008 kom Google Voice Search som iPhone-app, og talegenkendelse skiftede form: Telefonen optog kun, mens selve genkendelsen kørte i Googles datacentre på modeller, der var langt større, end nogen enhed kunne rumme, trænet på 230 milliarder ord fra søgeforespørgsler. Talegenkendelse blev en tjeneste frem for et program, og sådan er det stadig.

Deep learning mere end halverede fejlraterne i 2010'erne

Fra 2011 til 2017 faldt ordfejlraten på telefonsamtaler fra godt ti procent til omkring 5 procent, og stemmeassistenterne flyttede ind i hjemmet.

Siri og assistenterne

Apple lancerede Siri med iPhone 4S i oktober 2011, Amazon fulgte efter med Alexa på Echo i 2014 og Google med Google Home i 2016. Assistenterne betød mindre for selve genkendelsen, der kørte i skyen ligesom Google Voice Search, end for den vane, de skabte: Hundredvis af millioner mennesker begyndte at tale til maskiner hver dag, og hver eneste ytring blev til træningsdata.

Skridtet til neurale netværk

I 2012 offentliggjorde forskere fra Microsoft, Google, IBM og University of Toronto, heriblandt Geoffrey Hinton, en fælles artikel, der viste, at dybe neurale netværk trænet på den akustiske side af problemet skar fejlraterne ned med op til en tredjedel sammenlignet med de gaussiske blandingsmodeller, HMM-systemerne havde brugt i 25 år. Baidus Deep Speech gik skridtet videre i 2014 og trænede ét enkelt rekurrent netværk end-to-end, fra lyd til bogstaver, uden udtaleordbog og uden håndbygget pipeline. Genkendelse blev et deep learning-problem, og de laboratorier, der havde flest GPU'er og mest data, trak fra.

Kapløbet om menneskeniveau

Switchboard-benchmarken, en samling optagede telefonsamtaler, blev resultattavlen. I oktober 2016 rapporterede Microsoft en ordfejlrate på 5,9 procent, det samme som de professionelle transskribenter, firmaet havde hyret til at skrive de samme samtaler ud, og kaldte det menneskelig paritet. IBM svarede igen med 5,5 procent i marts 2017, Google meldte 4,9 procent på sine egne testsæt i maj, og i august 2017 nåede Microsoft 5,1 procent målt mod en mere omhyggelig menneskelig reference. Grafen nedenfor fra Mary Meekers Internet Trends-rapport fra 2017 viser Googles ordnøjagtighed passere 95 procent. Samme år blev Transformer-arkitekturen offentliggjort, og inden for tre år havde den også overtaget talegenkendelse.

Whisper og Transformer-arkitekturen gjorde transskription til allemandseje

Selvsuperviseret træning og én åben model forvandlede præcis flersproget transskription fra noget, kun tech-giganterne kunne, til noget, ethvert produkt kan tilbyde.

Læring fra uannoteret lyd

Flaskehalsen i 2010'erne var annoterede data: Hver træningstime krævede en transskription lavet af et menneske. I 2020 lærte Facebook AI's wav2vec 2.0 først talerepræsentationer fra rå, utransskriberet lyd og behøvede så lidt som ti minutters annoteret tale for at finjustere et brugbart genkendelsessystem. Googles Conformer, offentliggjort samme år, kombinerede konvolution med Transformer-attention og satte nye rekorder på standardbenchmarkene. Tilsammen gjorde de Transformeren til standardarkitekturen for tale og sænkede prisen på at tilføje et nyt sprog.

Whisper

I september 2022 udgav OpenAI Whisper, trænet på 680.000 timers lyd indsamlet fra nettet, dækkende næsten 100 sprog, og med modelvægtene offentliggjort, så alle kunne køre den. Det var ikke det mest præcise system på alle benchmarks, men det var robust over for accenter, baggrundsstøj og fagligt ordforråd på en måde, tidligere akademiske modeller ikke var, og det var gratis. Inden for få måneder sad det i tusindvis af produkter, og spørgsmålet for transskriptionsvirksomhederne flyttede sig fra, om de kunne genkende tale, til hvad de byggede rundt om transskriptionen.

Automatisk sprogidentifikation har sin egen historie

At vide, hvilket sprog der tales, er et andet problem end at vide, hvilke ord der siges, og det tog sine egne 50 år at løse.

Fra fonemstatistik til i-vektorer

De første forsøg med sprogidentifikation i 1970'erne skelnede mellem sprog ud fra statistikken over deres lyde. I 1990'erne blev det til den fonotaktiske metode: Kør en fonemgenkender, og se derefter, hvilket sprogs fonemmønstre passer bedst. NIST begyndte sine formelle Language Recognition Evaluations i 1996. I 2010'erne gav i-vektoren, et kompakt sammendrag af en optagelse lånt fra talergenkendelse, systemer, der kunne navngive et sprog ud fra få sekunders lyd.

Indbygget i modellen

Moderne flersprogede genkendelsessystemer slår de to problemer sammen. Whisper og dens efterfølgere forudsiger sproget som transskriptionens første token, så identifikationen er et biprodukt af genkendelsen snarere end et separat trin. Det er det, der lader ét produkt håndtere 54+ sprog uden et separat system til hvert af dem, og grunden til, at det sprog, du taler, ikke længere sætter grænser for, hvad du kan transskribere.

Hvor står ASR i dag?

På klar lyd i god kvalitet er moderne ASR tæt på at være løst. Derfor adskiller motorerne sig nu på svær lyd og på, hvad de gør, når transskriptionen er klar.

De seriøse motorers benchmarkresultater ligger nu tæt, så spørgsmålet til en leverandør er ikke længere "hvor nøjagtig er I?", men hvordan den håndterer din lyd, og hvad den gør med transskriptionen. Sonix er et konkret eksempel på ASR i drift i 2026:

Ærligt målt nøjagtighed

Sonix opnår 99% nøjagtighed på klar lyd i høj kvalitet og leverer en times optagelse på omkring 5 til 6 minutter med automatisk transskription. Alle nøjagtighedstal, også vores, afhænger af lyden, så den eneste benchmark, der betyder noget, er en test på dine egne optagelser.

Sprog

Sonix transskriberer og oversætter på 54+ sprog. Med modeller fra Whisper-æraen blev bred sprogdækning standard frem for en undtagelse, og nøjagtigheden på hvert sprog følger, hvor meget træningslyd der findes på det.

I realtid

Transskription i realtid viser undertekster på under 2 sekunder, mens folk stadig taler. Det er en direkte gevinst ved end-to-end-arkitekturen.

Hvem sagde hvad

Motorerne adskiller nu automatisk talerne, en opgave der kaldes talerseparation (speaker diarization). Vores guide til talerseparation forklarer, hvordan det virker, og hvor det stadig halter.

Mere end en transskription

Resuméer, kapitler og oversættelse gør rå tekst til noget, du kan handle på. ASR er blevet første led i en kæde, der handler om at forstå indholdet, frem for at være slutproduktet, og dine første 30 minutter på Sonix er gratis, så du kan prøve det på din egen lyd.

Hvor ASR er på vej hen: svær lyd, privatliv og forståelse

Kapløbet om benchmarks er slut, og tilbage står de mindre glamourøse problemer: svær lyd, privat drift og at gøre ord til forståelse.

De svære tilfælde

Overlappende tale, mikrofoner langt fra taleren, kraftige accenter, sprogskift midt i en sætning og fagsprog forringer stadig alle motorer, også vores. End-to-end-modeller har desuden givet en ny type fejl: De hallucinerer af og til flydende tekst under stilhed eller støj. Det er et aktivt forskningsområde og ikke et løst problem.

På selve enheden

Regn med, at mere talegenkendelse kommer til at køre på telefoner, bærbare og øretelefoner i stedet for i skyen, både af hensyn til privatliv og hastighed. Det samme komprimeringsarbejde, der har skrumpet modeller i Whisper-klassen, bringer nøjagtig talegenkendelse til hardware, der aldrig sender lyd nogen steder hen.

Fra transskription til forståelse

Store sprogmodeller opsummerer i dag møder, besvarer spørgsmål om et interview og skriver opfølgningen på en forelæsning, og det gør de kun godt, fordi transskriptionen nedenunder er nøjagtig. Stemmen vinder fortsat frem som grænseflade. Påstanden om, at den vil erstatte alle skærme, har lydt siden 1990'erne, og vi ville være tilfredse med, at den pålideligt fangede, hvad folk rent faktisk sagde.