Wat is Word Error Rate?

Word Error Rate formule

Word Error Rate, vaak aangeduid als WER, is een manier om de prestaties van een automatisch spraakherkenningssysteem (ASR) te meten. Het is lastig te meten omdat het "ASR-resultaat" een andere lengte kan hebben dan de "Spraakinvoer".

Hier is een eenvoudige manier om te begrijpen hoe WER wordt berekend:

Ter verduidelijking zijn hier enkele definities:

Verwijdering door ASR-systeem:

Spraakinvoer: I surf small waves
ASR-resultaat: I surf waves

Invoeging door ASR-systeem:

Spraakinvoer: I surf waves
ASR-resultaat: I surf small waves

Substitutie door ASR-systeem:

Spraakinvoer: I surf small waves
ASR-resultaat: I surf all waves

Wie is er aan het winnen?

Spraakherkenningstechnologie heeft sinds de jaren vijftig een lange weg afgelegd. Onze eerdere post een korte geschiedenis van spraakherkenning bespreekt enkele van de belangrijkste gebeurtenissen onderweg. Ik heb besproken hoe we een buigpunt hebben bereikt (of bijna hebben bereikt, afhankelijk van met wie u praat) in geautomatiseerde spraakherkenning.

De grootste technologiebedrijven zoals Google, IBM en Microsoft strijden allemaal om de titel van hoogste nauwkeurigheid. Hieronder volgt de chronologie van de claims die in 2017 zijn gemaakt:

Mar 2017: IBM claimt 5.5% Word Error Rate
Mei 2017: Google claimt 4.9% Word Error Rate
Aug 2017: Microsoft claimt 5.1% Word Error Rate

We zullen dit blijven bijwerken naarmate er nieuwe claims worden gemaakt.