Exclusão1 palavra perdida
- Você disse
- Não assine o contrato
- A máquina escreveu
Nãoassine o contrato
Uma palavra a menos, uma tarde muito diferente para o departamento jurídico.
1 exclusão ÷ 4 palavras = 25% WER — e 100% do significado
O que é Word Error Rate?
O número por trás de toda alegação de precisão em transcrição — como é calculado, o que esconde e como medi-lo no seu próprio áudio.
David Dat NguyenPublicado em Atualizado em
Fórmula do Word Error Rate
A taxa de erro por palavra — WER, na sigla em inglês — é a forma padrão de medir o desempenho de um sistema de reconhecimento automático de fala (ASR). Ela compara a transcrição da máquina com uma transcrição de referência cuidadosamente preparada por humanos e conta três tipos de erro: substituições, exclusões e inserções. Medi-la é mais complicado do que parece, porque o resultado do ASR pode ter comprimento diferente do que foi realmente falado.
Aqui está uma maneira simples de entender como o WER é calculado:
Um WER de 5% significa mais ou menos um erro a cada vinte palavras — dito de outra forma, 95% de precisão. Números são abstratos, no entanto. Veja cada tipo de erro causando estrago de verdade:
Inserção1 palavra a mais
- Você disse
- Os resultados foram promissores
- A máquina escreveu
- Os resultados não foram promissores
A mesma palavrinha, chegando sem ser convidada. Investidores momentaneamente arrasados.
1 inserção ÷ 4 palavras = 25% WER
Substituição1 palavra trocada
- Você disse
- Preciso confirmar o conserto para amanhã
- A máquina escreveu
- Preciso confirmar o
consertoconcerto para amanhã
Uma letra entre a oficina mecânica e a sala de espetáculos.
1 substituição ÷ 6 palavras = 17% WER
Calculadora de WER: teste a fórmula você mesmo
Agora que você sabe o que conta como erro, faça as contas. Defina o tamanho da sua transcrição de referência, arraste os erros que encontrou e veja a taxa de erro por palavra se mexer — esta é exatamente a aritmética por trás de toda alegação de precisão que você vai ler.
taxa de erro por palavra
precisão
≈ um erro a cada 50 palavras
Território de áudio limpo — uma revisão rápida e já está pronto para publicar.
A conta, ao vivo: (6 + 3 + 1) ÷ 500 = 2.0%
A corrida pela precisão, e onde ela parou
O reconhecimento de fala percorreu um longo caminho desde os anos 1950 — nossa breve história do reconhecimento de fala conta essa trajetória. Por volta de 2017, as maiores empresas de tecnologia disputavam publicamente umas com as outras no WER, medido em relação a um benchmark padrão de conversas telefônicas gravadas:
Mar 2017: IBM reivindica 5,5% de word error rate
Maio 2017: Google reivindica 4,9% de word error rate
Ago 2017: Microsoft reivindica 5,1% de Word Error Rate
Esses anúncios importaram porque se aproximaram da taxa de erro de transcritores humanos profissionais no mesmo benchmark — o momento que a indústria chamou de "paridade humana". Mas a corrida em benchmarks limpos praticamente terminou num amontoado de números parecidos. Em conjuntos de teste cuidadosamente gravados e de um único domínio, todo mecanismo moderno sério vai bem — e é exatamente por isso que o WER de benchmark deixou de ser a pergunta interessante.
As diferenças reais entre sistemas de transcrição aparecem agora em outro lugar: em áudio de reunião captado à distância, falas sobrepostas, sotaques carregados, vocabulário especializado e gravações barulhentas do mundo real. Dois mecanismos com pontuações de benchmark quase idênticas podem se comportar de maneira muito diferente na sua reunião de terça-feira — por isso a única comparação que importa é a que você faz no seu próprio áudio.
O que o WER não mede
O WER conta erros de palavra e nada mais — e boa parte do que torna uma transcrição útil é invisível para ele. Pontuação e uso de maiúsculas não entram na conta: um bloco de palavras perfeitamente reconhecidas, mas sem pontuação, pode registrar um WER excelente e ainda assim ser terrível de ler. A atribuição de quem falou também não é pontuada — colocar as palavras certas na boca da pessoa errada sai de graça, no que depende do WER. Números, datas e nomes são pontuados como qualquer outra palavra, embora errar "MRSA" ou "receita do 3º trimestre" costume custar muito mais caro do que engolir um "o".
É por isso que uma transcrição com taxa de erro um pouco maior, mas com pontuação, parágrafos e identificação de falantes limpos, costuma ser mais útil do que uma tecnicamente "mais precisa" sem estrutura. Ao avaliar a qualidade de uma transcrição, leia o resultado como um documento, não apenas como uma contagem de palavras — e pese os erros pelo que eles custariam a você, não por quantos são.
Como fazer seu próprio teste de WER
Ignore o número de marketing de todo fornecedor, inclusive o nosso — o teste que importa leva cerca de uma hora. Escolha dez minutos de áudio que realmente representem o seu trabalho: suas salas de reunião, seus entrevistados, seu jargão. Prepare com cuidado uma transcrição de referência dele (esta é a parte lenta — a referência precisa estar certa). Depois passe o mesmo trecho por cada serviço que estiver avaliando e conte substituições, exclusões e inserções em relação à sua referência.
Dois avisos práticos. Primeiro, normalize antes de contar: decida logo de início se "OK" e "okay", dígitos e números por extenso, ou palavras de preenchimento contam como erros, e aplique as mesmas regras a todos os mecanismos — a maioria das comparações caseiras erra aqui, e não na contagem. Segundo, não pare na taxa de erro: anote que tipos de palavra cada mecanismo errou e quanto trabalho de limpeza o resultado realmente exigiu. Um atalho que funciona quase tão bem: transcreva o trecho em todos os serviços, deixe cada transcrição em qualidade de publicação e cronometre a limpeza. O mecanismo que exige o menor número de correções no seu áudio é o preciso, digam o que disserem os benchmarks.
Nosso teste, palavra por palavra
Fizemos nós mesmos o teste descrito acima. A gravação traz Theodore Roosevelt lendo “The Right of the People to Rule” (Edison cylinder, August 1912), hoje no acervo da Library of Congress (a Biblioteca do Congresso dos EUA), com 114 anos: 4 minutos, uma só voz, sem música. Em novembro de 2026, enviamos o MP3 para uma conta de assinatura, exportamos a transcrição sem tocar em nada, corrigimos de ouvido no editor e exportamos de novo. Comparando a exportação bruta com a corrigida, chegamos a 707 palavras, 11 erros e uma taxa de erro por palavra de 1.6%: 8 substituições, 3 inserções e 0 exclusões.
A contagem segue as regras acima. Pontuação e maiúsculas são ignoradas, uma palavra composta com hífen conta como duas, e os erros são o menor número de edições que transforma o que o mecanismo ouviu no que foi dito. As duas colunas usam a pontuação e as quebras de parágrafo da transcrição corrigida, acrescentadas para facilitar a leitura do discurso; as palavras são as das próprias exportações.
Os 8 pontos em que o mecanismo errou, com algumas palavras antes e depois. Ative a chave para ver o discurso inteiro, do início ao fim.
O discurso inteiro, com destaque para os 8 pontos em que o mecanismo errou.
O que o mecanismo ouviu
O que foi dito
The great fundamental issue. Now, before our people can be stated briefly, it appears, are the American people fit to govern themselves, to rule themselves, to control themselves? I believe they are. My opponents do not. I believe in the right of the people to rule. I believe that the majority of the plain people of the United States will, day in and day out, make fewer mistakes in governing themselves than any smaller class or body of men, no matter what their training will make in trying to govern them.
The great fundamental issue. Now, before our people can be stated briefly, it appears, are the American people fit to govern themselves, to rule themselves, to control themselves? I believe they are. My opponents do not. I believe in the right of the people to rule. I believe that the majority of the plain people of the United States will, day in and day out, make fewer mistakes in governing themselves than any smaller class or body of men, no matter what their training will make in trying to govern them.
I believe, again, that the American people are as a whole, capable of self-control and of learning by their mistakes. Our opponents pay lip loyalty to this doctrine, but they show their real beliefs by the way in which they champion every device to make them nominal rule of the people a sham.
I believe, again, that the American people are as a whole, capable of self-control and of learning by their mistakes. Our opponents pay lip loyalty to this doctrine, but they show their real beliefs by the way in which they champion every device to make them nominal rule of the people a sham.
I am not leading this fight as a matter of aesthetic pleasure. I am leading because somebody must lead, or else the fight would not be made at all. I prefer to work with moderate, with rational, conservatives, provided only that they do in good faith strive forward toward the light. But when they halt and turn their backs to the light and sit with the scorners on the seats of reaction, then I must part company with them. We, the people, cannot turn back. Our aim must be steady, wise progress. It would be well if our people would study the history of a sister, a mother.
I am not leading this fight as a matter of aesthetic pleasure. I am leading because somebody must lead, or else the fight would not be made at all. I prefer to work with moderate, with rational, conservatives, provided only that they do in good faith strive forward toward the light. But when they halt and turn their backs to the light and sit with the scorners on the seats of reaction, then I must part company with them. We, the people, cannot turn back. Our aim must be steady, wise progress. It would be well if our people would study the history of a sister, a mother.
All the woes of France for a century and a quarter had been due to the folly of her people in splitting into the doomed camps of unreasonable conservatism and unreasonable radicalism. Had pre-revolutionary France listened to men like Torgau and backed them up, all would have gone well. But the beneficiaries of privilege, the Bourbon reactionaries, the short sighted ultra conservatives, turned down to a go and then found that instead of him, they had obtained Robespierre.
All the woes of France for a century and a quarter had been due to the folly of her people in splitting into the doomed camps of unreasonable conservatism and unreasonable radicalism. Had pre-revolutionary France listened to men like Turgot and backed them up, all would have gone well. But the beneficiaries of privilege, the Bourbon reactionaries, the short sighted ultra conservatives, turned down Turgot and then found that instead of him, they had obtained Robespierre.
They gained 20 years freedom from all restraint and reform at the cost of the whirlwind of the Red terror, and in their turn, the unbridled extremists of the terror induced a blind reaction. And so, with convulsion and oscillation from one extreme to another, with alternations of violent radicalism and violent urbanism, the French people went through misery toward a shattered goal. May we pump it for the experiences of our brother Republicans across the water and go forward steadily, avoiding all wild extremes.
They gained 20 years freedom from all restraint and reform at the cost of the whirlwind of the Red terror, and in their turn, the unbridled extremists of the terror induced a blind reaction. And so, with convulsion and oscillation from one extreme to another, with alternations of violent radicalism and violent Bourbonism, the French people went through misery toward a shattered goal. May we profit for the experiences of our brother Republicans across the water and go forward steadily, avoiding all wild extremes.
And may our ultra conservatives remember that the rule of the Bourbons brought on the Revolution, and may our would be revolutionaries remember that no Bourbon was ever such a dangerous enemy of the people and of freedom as the professed friend of both Robespierre. There is no danger of a revolution in this country. But there is grave discontent and unrest, and in order to remove them, there is need of all the wisdom and probity and deep seated faith in and purpose to uplift humanity we have at our command.
And may our ultra conservatives remember that the rule of the Bourbons brought on the Revolution, and may our would be revolutionaries remember that no Bourbon was ever such a dangerous enemy of the people and of freedom as the professed friend of both Robespierre. There is no danger of a revolution in this country. But there is grave discontent and unrest, and in order to remove them, there is need of all the wisdom and probity and deep seated faith in and purpose to uplift humanity we have at our command.
Friends, our task as Americans is to strive for social and industrial justice achieved through the genuine rule of the people. This is our end, our purpose. The methods for achieving the end are merely expedience to be finally accepted or rejected according as actual experience shows that they work well or ill. But in our hearts, we must have this lofty purpose, and we must strive for it in all earnestness and sincerity, for our work will come to nothing.
Friends, our task as Americans is to strive for social and industrial justice achieved through the genuine rule of the people. This is our end, our purpose. The methods for achieving the end are merely expedients to be finally accepted or rejected according as actual experience shows that they work well or ill. But in our hearts, we must have this lofty purpose, and we must strive for it in all earnestness and sincerity, for our work will come to nothing.
In order to succeed, we need leaders of inspired idealism, leaders to whom our granted great visions, who dream greatly and strive to make their dreams come true, who can kindle the people with the fire from their own burning zones. The leader, for the time being, whoever he may be, is but an instrument to be used until broken and then to be cast aside. And if he is worth his salt, he will care no more when he is broken than a soldier cares When he is sent, where his life is forfeit, in order that the victory may be won in the long fight for righteousness. The watchword for all of us is spend and be spent.
In order to succeed, we need leaders of inspired idealism, leaders to whom are granted great visions, who dream greatly and strive to make their dreams come true, who can kindle the people with the fire from their own burning souls. The leader, for the time being, whoever he may be, is but an instrument to be used until broken and then to be cast aside. And if he is worth his salt, he will care no more when he is broken than a soldier cares where he is sent, where his life is forfeit, in order that the victory may be won in the long fight for righteousness. The watchword for all of us is spend and be spent.
Ouviu “Torgau”, era “Turgot”: 1 substituição.Ouviu “to a go”, era “Turgot”: 1 substituição, 2 inserções.Ouviu “urbanism”, era “Bourbonism”: 1 substituição.Ouviu “pump it”, era “profit”: 1 substituição, 1 inserção.Ouviu “expedience”, era “expedients”: 1 substituição.Ouviu “our”, era “are”: 1 substituição.Ouviu “zones”, era “souls”: 1 substituição.Ouviu “When”, era “where”: 1 substituição.
- palavras
- 707
- substituições
- 8
- inserções
- 3
- exclusões
- 0
- erros
- 11
- taxa de erro (WER)
- 1.6%
Das 8 correções, 3 são nomes próprios e 2 são palavras de época que um mecanismo moderno raramente encontra; as outras 3 são quase homófonos que um ouvinte também poderia confundir. Corrigir todas levou 4 minutos no editor, com cada palavra ligada ao seu momento no áudio.
O teste completo, com a gravação, os números e a captura de tela do editor, está na página do conversor de MP3. A gravação original está na Library of Congress.
Como ler as alegações de precisão dos fornecedores (inclusive as nossas)
Quando o Sonix diz "até 99% de precisão", esse número descreve um áudio claro e bem gravado — microfones próximos, ruído de fundo mínimo, um falante de cada vez. É um número honesto nessas condições, e o número de destaque de todo fornecedor carrega a mesma letra miúda, quer eles a declarem ou não. A precisão cai com ruído, distância, falas sobrepostas e compressão pesada; nenhum mecanismo escapa, porque é a física do áudio que define o teto.
Portanto, trate qualquer alegação de precisão como uma afirmação sobre condições ideais, e trate suas próprias gravações como o benchmark que conta. Melhorar o áudio — um microfone mais próximo, uma sala mais silenciosa, uma voz de cada vez — fará mais pela sua taxa de erro por palavra do que trocar entre dois mecanismos modernos quaisquer. E o que sobrar depois disso, um editor sincronizado que permite clicar numa palavra suspeita e ouvir o áudio por trás dela é o que fecha a distância entre a precisão medida e uma transcrição que você pode publicar.
Experimente o Sonix gratuitamente
O Sonix transcreve, gera carimbos de data/hora e organiza seus arquivos de áudio e vídeo para que você possa pesquisar, editar e compartilhar sua mídia.
Inclui 30 minutes minutos de transcrição gratuita
