Kelime hata oranı nedir
kelime hata oranı?

Kelime hata oranı formülü

Genellikle WER olarak adlandırılan kelime hata oranı, bir otomatik konuşma tanıma (ASR) sisteminin performansını ölçmenin bir yoludur. Ölçülmesi zordur çünkü "ASR sonucu" ile "Ses girişi" farklı uzunluklarda olabilir.

İşte WER'in nasıl hesaplandığını anlamanın basit bir yolu:

Daha fazla netlik sağlamak için işte bazı tanımlar:

ASR sistemi tarafından silme:

Ses girişi: Küçük dalgalarda sörf yaparım
ASR sonucu: Dalgalarda sörf yaparım

ASR sistemi tarafından ekleme:

Ses girişi: Dalgalarda sörf yaparım
ASR sonucu: Küçük dalgalarda sörf yaparım

ASR sistemi tarafından değiştirme:

Ses girişi: Küçük dalgalarda sörf yaparım
ASR sonucu: Tüm dalgalarda sörf yaparım

Kimin performansı daha iyi?

Konuşma tanıma teknolojisi 1950'lerden bu yana çok yol kat etti. Önceki yazımız olan konuşma tanımanın kısa tarihi, bu yoldaki bazı önemli olaylardan bahsediyor. Otomatik konuşma tanımada nasıl bir dönüm noktasına ulaştığımızdan (veya kime sorduğunuza bağlı olarak neredeyse ulaştığımızdan) bahsetmiştim.

Google, IBM ve Microsoft gibi en büyük teknoloji şirketlerinin tümü doğruluk unvanı için yarışıyor. Aşağıda 2017 yılında yapılan iddiaların kronolojisi yer almaktadır:

Mart 2017: IBM 5,5% kelime hata oranı iddia ediyor
Mayıs 2017: Google 4,9% kelime hata oranı iddia ediyor
Ağustos 2017: Microsoft 5,1% kelime hata oranı iddia ediyor

Yeni iddialar ortaya çıktıkça bunu güncellemeye devam edeceğiz.