Что такое Word Error Rate?

Формула Word Error Rate

Word Error Rate, часто называемый WER, — это способ измерения производительности системы автоматического распознавания речи (ASR). Его сложно измерить, потому что «результат ASR» может иметь другую длину, чем «голосовой ввод».

Вот простой способ понять, как рассчитывается WER:

Чтобы прояснить ситуацию, вот несколько определений:

Удаление системой ASR:

Голосовой ввод: I surf small waves
Результат ASR: I surf waves

Вставка системой ASR:

Голосовой ввод: I surf waves
Результат ASR: I surf small waves

Замена системой ASR:

Голосовой ввод: I surf small waves
Результат ASR: I surf all waves

Кто побеждает?

Технологии распознавания речи прошли долгий путь с 1950-х годов. В нашем предыдущем посте краткая история распознавания речи рассказывается о некоторых ключевых событиях на этом пути. Я говорил о том, как мы достигли (или почти достигли, в зависимости от того, с кем вы говорите) переломного момента в автоматическом распознавании речи.

Крупнейшие технологические компании, такие как Google, IBM и Microsoft, борются за звание самых точных. Ниже приведена хронология заявлений, сделанных в 2017 году:

Март 2017: IBM заявляет о 5.5% Word Error Rate
Май 2017: Google заявляет о 4.9% Word Error Rate
Август 2017: Microsoft заявляет о 5.1% Word Error Rate

Мы продолжим обновлять этот список по мере появления новых заявлений.