OpenAI Whisper: O que é, qual é o seu nível de precisão e como utilizá-lo sem código

O OpenAI Whisper é um modelo de reconhecimento de voz de código aberto que converte a fala gravada em texto. Suporta transcrição multilingue, tradução para inglês e vários tamanhos de modelo para diferentes requisitos de computação. Embora o modelo subjacente possa ser utilizado sem taxas de licenciamento, a sua utilização através de uma aplicação para computador, instalação local ou API alojada implica custos, funcionalidades e considerações de privacidade diferentes.

A OpenAI agendou a retirada de serviço do seu modelo API «whisper-1» alojado para 26 de fevereiro de 2027. O modelo Whisper de código aberto não é afetado por essa retirada de serviço e continua disponível para implementação local e para aplicações de terceiros.

Principais conclusões

• O OpenAI Whisper foi treinado com 680 000 horas de dados supervisionados, multilingues e multitarefa, recolhidos na Internet – A precisão da transcrição do Whisper varia consoante o modelo, a língua, a qualidade do áudio e o conjunto de dados de avaliação, mas o seu conjunto de dados de treino vasto e diversificado ajuda-o a lidar com diferentes condições de gravação, sotaques e línguas
• As aplicações para computador podem fornecer uma interface gráfica para utilizar o Whisper sem necessidade de escrever código – os requisitos de configuração variam consoante o sistema operativo e a aplicação, e nem todas as aplicações são compatíveis com todos os sistemas operativos nem oferecem funcionalidades idênticas
• O Whisper, de código aberto, não tem qualquer taxa de licenciamento do modelo, mas a sua implementação implica custos – a implementação local ou em servidor alojado pode implicar custos de hardware, eletricidade, armazenamento, desenvolvimento e manutenção, cujos montantes dependem da carga de trabalho e do método de implementação
• O Whisper, de código aberto, não inclui diarização nativa para múltiplos oradores – os resultados podem conter erros ou texto inventado, e a API de transcrição de ficheiros hospedada pela OpenAI também tem um limite de pedido separado de 25 MB
• As plataformas de transcrição geridas combinam o reconhecimento de voz com funcionalidades adicionais – as funcionalidades de edição, colaboração, tradução, segurança e gestão de conteúdos vão além da simples conversão de voz em texto

O Whisper é um modelo de reconhecimento de voz de código aberto concebido para a transcrição multilingue e a tradução de voz. O seu desempenho varia consoante as condições de gravação, o idioma e a configuração do modelo. Para profissionais que gerem fluxos de trabalho de transcrição contínuos, o Sonix combina transcrição automática com ferramentas de edição, pesquisa, tradução e colaboração em equipa.

Este guia dá uma visão clara do que o Whisper realmente oferece, quão preciso é, na verdade, e como começar a utilizá-lo já hoje.

O que é o OpenAI Whisper? Uma visão geral do modelo de reconhecimento de voz baseado em IA

A OpenAI apresentou o Whisper em setembro de 2022. O modelo foi treinado com base em 680 000 horas de dados supervisionados multilingues e multitarefa recolhidos na Internet. Esta abordagem de treino inclui áudio com vários níveis de qualidade, tais como podcasts, vídeos e gravações em diferentes condições.

O conjunto de dados de treino extenso e variado do Whisper foi concebido para melhorar a robustez em diferentes condições de gravação, sotaques e línguas, razão pela qual lida melhor com condições de áudio do mundo real do que muitos sistemas treinados apenas com gravações de estúdio de alta qualidade.

Principais características que definem o Whisper:

• Suporte multilingue – O Whisper suporta o reconhecimento de voz multilingue em cerca de 99 línguas, embora a qualidade do reconhecimento varie substancialmente consoante a língua
• Capacidade de tradução – O Whisper consegue transcrever os idiomas suportados e traduzir a fala não inglesa para inglês, utilizando modelos multilingues adequados
• Registos temporais – O Whisper suporta marcas temporais ao nível do segmento e, opcionalmente, marcas temporais ao nível da palavra, quando a configuração relevante estiver ativada
• Pontuação e formatação – O Whisper pode inserir pontuação e letras maiúsculas automaticamente, mas a transcrição poderá ainda assim necessitar de revisão
• Vários tamanhos de modelos – O repositório oficial do Whisper inclui opções de modelos «tiny», «base», «small», «medium», «large» e «turbo», com diferentes requisitos de memória e processamento

O código e os pesos do modelo do Whisper são disponibilizados ao abrigo da Licença MIT. A utilização local não implica o pagamento de qualquer taxa de licenciamento do modelo da OpenAI, embora o software e o hardware utilizados para o executar possam acarretar custos. O modelo «turbo» está otimizado para uma transcrição mais rápida, mas não foi treinado para tarefas de tradução. Para tradução, utilize modelos multilingues suportados, tais como os de tamanho médio ou grande.

Como funciona o OpenAI Whisper? A tecnologia por trás da sua precisão

O Whisper processa o áudio sob a forma de características de espectrograma log-Mel e utiliza um Transformer codificador-decodificador para gerar tokens de texto. Os ficheiros de áudio passam por uma etapa de pré-processamento que converte as ondas sonoras em espectrogramas, que são representações visuais dos padrões de frequência ao longo do tempo. O modelo analisa então esses padrões para prever a sequência de palavras mais provável.

O que distingue a abordagem do Whisper é a sua formação com dados fracamente supervisionados. Em vez de recorrer a transcritores humanos para rotular cuidadosamente cada exemplo de formação, a OpenAI utilizou áudio acompanhado de texto já disponível online, como vídeos com legendas. Isto permitiu-lhes treinar com uma quantidade de dados muito superior à que seria viável com métodos tradicionais.

Fatores que influenciam a qualidade da transcrição:

• Clareza do áudio – as gravações nítidas, com o mínimo de ruído de fundo, produzem melhores resultados
• Sobreposição de oradores – o facto de várias pessoas falarem ao mesmo tempo reduz a precisão
• Vocabulário técnico – os termos específicos de uma área podem ser transcritos incorretamente sem contexto
• Qualidade de gravação – as chamadas telefónicas e o áudio comprimido têm uma qualidade inferior à das gravações em estúdio

O repositório atual apresenta seis categorias de tamanho, incluindo a opção «turbo», mais rápida. O desempenho do processamento depende do modelo, do hardware, da linguagem e das condições de gravação.

Para equipas que necessitam de uma precisão consistente em grandes volumes de conteúdo, serviços de transcrição automática gerir a complexidade da infraestrutura, garantindo resultados fiáveis sem sobrecarga técnica.

Avaliação da precisão do OpenAI Whisper: pontos fortes e limitações

A taxa de erro de palavra, ou WER, mede as substituições, omissões e inserções em relação a uma transcrição de referência. Uma WER mais baixa indica, geralmente, um melhor desempenho de transcrição no conjunto de dados testado. A taxa de erro de palavra do Whisper varia consoante o modelo, o idioma, as condições do áudio e o conjunto de dados de avaliação.

Os resultados dos testes comparativos dependem da variante do modelo, do idioma, das condições de gravação, do conjunto de dados, da transcrição de referência, das regras de normalização e da metodologia de teste. Não existe um único teste comparativo que descreva a precisão global do Whisper em todos os casos de utilização.

Os resultados da transcrição na prática variam, especialmente quando as gravações contêm ruído, interlocutores a falarem ao mesmo tempo, sotaques, linguagem técnica ou qualidade de microfone variável.

Funcionalidades do Whisper:

• Gestão do ruído de fundo – treinado com diversos tipos de áudio, o que o torna resistente aos sons ambientais
• Reconhecimento de sotaques – apresenta um desempenho razoavelmente bom em todos os dialetos e variações regionais do inglês
• Terminologia técnica – as previsões sensíveis ao contexto tratam corretamente muitos termos especializados
• Reconhecimento multilingue – suporta o reconhecimento de voz em cerca de 99 idiomas
• Detecção de idioma – consegue identificar automaticamente o idioma falado
• Implementação local – pode ser executada no seu próprio hardware sem enviar áudio para servidores externos

Fatores que afetam os resultados:

• Identificação de falantes – O Whisper, por si só, não oferece diarização nativa de falantes, embora existam ferramentas externas que possam combinar o reconhecimento de voz com a identificação de falantes
• Tratamento dos silêncios – O Whisper pode, ocasionalmente, gerar texto que não está presente na gravação; reveja o texto inesperado, especialmente em segmentos silenciosos ou de baixa qualidade
• Processamento em tempo real – O Whisper foi concebido principalmente para o processamento de áudio segmentado; os programadores e as aplicações de terceiros podem criar fluxos de trabalho de baixa latência com base nele, embora a sincronização e o desempenho dependam da implementação

Para aplicações que exijam etiquetas de altifalante e funcionalidades em tempo real, será necessário recorrer a ferramentas adicionais ou a um plataforma abrangente de transcrição que lida com estes requisitos de forma nativa.

Introdução: Opções sem código e para programadores

A forma mais simples de utilizar o Whisper não requer qualquer programação. Várias aplicações para computador integram o Whisper em interfaces intuitivas que permitem arrastar, soltar e transcrever em poucos minutos.

Aplicações para computador

As aplicações para computador, como o MacWhisper e o Superwhisper, oferecem interfaces gráficas para o reconhecimento de voz. Os modelos disponíveis, os sistemas operativos suportados, os métodos de processamento e as funcionalidades dependem da aplicação. Os utilizadores devem verificar se a aplicação que escolheram suporta o modelo de código aberto Whisper e o seu fluxo de trabalho preferido, seja de processamento local ou na nuvem.

Passos típicos de configuração:

1. Selecione uma aplicação gráfica compatível com o seu sistema operativo.
2. Verifique se a transcrição é processada localmente ou através de um serviço na nuvem.
3. Instale a aplicação e, se necessário, descarregue um modelo compatível.
4. Importe a sua gravação de áudio ou vídeo e selecione o idioma ou modelo adequado.
5. Compare a transcrição resultante com a gravação original.
6. Exporte o texto ou os ficheiros de legendas disponíveis no formato da sua preferência.

Algumas aplicações descarregam ficheiros de modelos locais, e o descarregamento desses modelos pode exigir um espaço de armazenamento considerável. O MacWhisper disponibiliza opções de aplicações gratuitas e pagas, podendo os preços atuais ser consultados junto do seu criador.

Acesso à API hospedada para programadores

A API «whisper-1» hospedada pela OpenAI, já em fase de transição, tem um custo de 0,006 dólares por minuto de áudio e está prevista para ser encerrada a 26 de fevereiro de 2027. Para novas integrações, a OpenAI recomenda modelos de transcrição mais recentes, incluindo o «gpt-transcribe» e o «gpt-live-transcribe».

Para aceder diretamente à API da OpenAI, é necessária uma configuração técnica ou uma integração pré-configurada. A configuração requer:

1. Crie uma conta na OpenAI e adicione um método de pagamento
2. Crie uma chave de API a partir do seu painel de controlo
3. Utilize um script ou uma ferramenta de integração para enviar ficheiros de áudio

A API de transcrição de ficheiros da OpenAI aceita, atualmente, ficheiros com um tamanho máximo de 25 MB por pedido. Os ficheiros maiores poderão necessitar de uma compressão adequada ou de serem divididos antes do envio. Os formatos de entrada atualmente documentados incluem MP3, MP4, MPEG, MPGA, M4A, WAV e WEBM.

Considerações gerais sobre a configuração:

• Limites de tamanho de ficheiro – A API hospedada pela OpenAI tem um limite de 25 MB; as implementações locais variam
• Velocidade de processamento – depende do tamanho do modelo, do hardware e da duração da gravação
• Opções de data e hora – verifique se a aplicação ou a API suporta a granularidade do carimbo temporal de que necessita e se a medição do tempo ao nível da palavra tem de ser ativada separadamente

Para equipas que precisam de produtividade imediata sem complicações na configuração, plataformas baseadas no navegador como Sonix fornecer serviços de transcrição geridos com ferramentas de edição profissionais, identificação de oradores e funcionalidades de colaboração integrado.

Aplicações práticas do OpenAI Whisper

A precisão do Whisper abre novas possibilidades de aplicação em diversos setores, embora cada caso de utilização implique considerações específicas.

Criação de conteúdos e meios de comunicação

Os podcasters e os produtores de vídeo utilizam o Whisper para gerar transcrições para notas de programas, publicações em blogs e conformidade com as normas de acessibilidade. O tempo de processamento depende do modelo e do hardware disponível, enquanto o tempo de edição e verificação depende do resultado pretendido.

A criação de legendas para conteúdos de vídeo ajuda as organizações a cumprir os requisitos de acessibilidade e a alcançar públicos mais amplos. O Whisper pode produzir texto com marcação temporal e ficheiros de legendas compatíveis, mas as legendas destinadas à acessibilidade podem exigir uma revisão adicional no que diz respeito à precisão da transcrição, à sincronização, à identificação dos oradores e à inclusão de informação sonora significativa.

Para trabalhos profissionais de legendagem, legendas e legendas automatizadas com estilos personalizáveis que simplificam o fluxo de trabalho. O Sonix suporta fluxos de trabalho dedicados à criação de legendas, incluindo exportações em formatos SRT e VTT, ajustes de temporização, personalização de estilos e legendas integradas.

Investigação e Análise

Os investigadores qualitativos transcrevem entrevistas e grupos de discussão para identificar temas e padrões. Os investigadores devem verificar a exatidão das transcrições, os requisitos de confidencialidade, a atribuição das intervenções aos participantes e a interpretação dos resultados analíticos gerados pela IA.

Para projetos de investigação que exijam uma identificação clara dos interlocutores e uma análise temática, Ferramentas de análise de IA que identificam automaticamente os oradores e extraem temas-chave, poupando um tempo significativo de pós-processamento. A Análise de IA da Sonix suporta resumos, capítulos, temas, tópicos, entidades, sentimento e prompts personalizados nos planos elegíveis.

Jurídico e conformidade

As equipas jurídicas devem comparar as transcrições geradas por IA com as gravações originais, proteger as informações confidenciais e verificar os requisitos aplicáveis do tribunal ou da jurisdição antes de utilizarem as transcrições em processos formais.

A questão fundamental é a segurança e a confidencialidade dos dados. A privacidade depende do método de implementação. Uma instalação local do Whisper devidamente configurada pode processar gravações no próprio equipamento do utilizador, mas as aplicações de terceiros podem disponibilizar funcionalidades opcionais na nuvem. No caso de conteúdos sensíveis, as organizações devem verificar o armazenamento, a transmissão, a retenção, os controlos de acesso, os contratos e os requisitos legais aplicáveis antes de processarem as gravações.

Integrar o Whisper no seu fluxo de trabalho: dicas para uma maior eficiência

Para obter resultados consistentes com o Whisper, é necessário prestar atenção à qualidade do áudio e às práticas de gestão de ficheiros.

Otimizar o áudio para obter melhores resultados:

• Sempre que possível, grave em ambientes silenciosos
• Utilizar microfones externos em vez dos microfones incorporados no computador portátil
• Posicione os microfones de acordo com a distância de gravação recomendada pelo dispositivo e minimize o ruído de fundo sempre que possível
• Dê preferência a um áudio suficientemente nítido, com definições de gravação adequadas, e evite compressões repetidas desnecessárias

Gestão de grandes volumes de ficheiros:

As gravações longas podem exceder os limites de carregamento da API hospedada, dependendo do formato e da taxa de bits. As aplicações locais para computador podem tratar os ficheiros de forma diferente da API hospedada da OpenAI, com limites que dependem do software e do hardware.

Edição pós-transcrição:

Mesmo as transcrições automatizadas relativamente precisas podem conter erros em nomes, números, terminologia técnica e atribuição dos interlocutores. Verifique as passagens importantes comparando-as com a gravação original.

Para equipas que processam volumes significativos, as plataformas de transcrição especializadas oferecem edição no navegador sincronizado com a reprodução de áudio, marcas temporais ao nível da palavra, realce de confiança, etiquetas de orador editáveis, pesquisa, funcionalidade de «procurar e substituir» e opções de exportação para vários formatos. O Sonix disponibiliza um editor sincronizado baseado no navegador para rever os resultados da transcrição, corrigir o texto e preparar as exportações.

Fluxos de trabalho do Whisper e da transcrição gerida

A escolha entre o Whisper de código aberto e os serviços geridos depende dos seus requisitos específicos, do volume e dos recursos técnicos de que dispõe.

No que diz respeito ao Whisper de código aberto, tenha em conta o seguinte:

• Controlo local sobre o tratamento e os dados
• Flexibilidade na seleção de modelos
• Possibilidade de funcionamento sem ligação à Internet
• Responsabilidade pela infraestrutura
• Opções de aplicações de terceiros

No que diz respeito aos fluxos de trabalho de transcrição geridos, tenha em conta o seguinte:

• Transcrição de ficheiros de áudio e vídeo carregados
• Edição baseada no navegador
• Tradução especializada de transcrições
• Legendas e legendas para surdos
• Pesquisa e organização
• Análise assistida por IA
• Funcionalidades de colaboração em equipa
• Acesso à API para automatização

Considerações relativas aos custos:

O Whisper auto-hospedado pode implicar custos com hardware, eletricidade, armazenamento e trabalho de engenharia. Uma aplicação para computador pode implicar uma licença única ou por assinatura. As APIs hospedadas cobram de acordo com a utilização, enquanto as plataformas de transcrição geridas podem utilizar preços por hora ou por assinatura. Compare estas opções utilizando o mesmo volume de gravações e os mesmos requisitos de fluxo de trabalho.

O Futuro da Transcrição por IA

O lançamento do Whisper como software de código aberto tem apoiado a investigação e o desenvolvimento nas áreas do reconhecimento de voz local, da otimização de modelos, do processamento multilingue e das aplicações de terceiros.

Tendências que estão a moldar o setor:

• Processamento em tempo real melhorado – prosseguem os trabalhos de investigação sobre as capacidades de transmissão em streaming e as implementações com menor latência
• Melhor diarização de falantes – as ferramentas externas estão a melhorar a capacidade de identificar quem disse o quê
• Ajuste específico para cada domínio – as organizações estão a desenvolver versões especializadas para terminologia médica, jurídica e técnica
• Implementação na periferia – modelos mais pequenos e mais rápidos permitem a transcrição diretamente no dispositivo, sem necessidade de ligação à nuvem

Para as empresas que estão atualmente a integrar a transcrição nos seus fluxos de trabalho, a escolha mais prática passa, muitas vezes, por combinar um reconhecimento de voz preciso com plataformas que oferecem funcionalidades adicionais para a gestão do fluxo de trabalho. Soluções de transcrição para empresas proporcionam as capacidades de colaboração, segurança e integração que transformam transcrições em bruto em conteúdos organizados e pesquisáveis.

Quer comece por uma simples aplicação para computador ou invista numa plataforma abrangente, compreender os verdadeiros pontos fortes e as limitações do Whisper ajuda-o a tomar decisões informadas sobre o lugar que este ocupa no seu fluxo de trabalho de conteúdos.

Como o Sonix apoia os fluxos de trabalho de transcrição geridos

O OpenAI Whisper fornece uma base de código aberto para o reconhecimento de voz, enquanto o Sonix oferece uma plataforma gerida para equipas que precisam de trabalhar com transcrições para além da conversão inicial de voz para texto. O Sonix suporta transcrição de áudio e vídeo, edição sincronizada, tradução dedicada de transcrições, criação de legendas, organização, pesquisa e análises adicionais assistidas por IA nos planos elegíveis.

• Processamento rápido: O Sonix costuma transcrever uma hora de áudio ou vídeo em cerca de 5 a 6 minutos.
• Precisão anunciada: A Sonix afirma ter uma precisão de transcrição de até 99% em gravações nítidas.
• Mais de 54 idiomas de transcrição: Transcrever as gravações carregadas que são suportadas em dezenas de línguas.
• Tradução da transcrição: Traduzir as transcrições concluídas para Mais de 54 idiomas suportados.
• Edição no navegador: Analise a reprodução sincronizada, os marcadores temporais ao nível da palavra, os rótulos editáveis dos interlocutores e o realce de confiança.
• Dicionário personalizado: Adicione nomes, marcas, acrónimos e terminologia especializada para que o sistema lhes dê prioridade durante a transcrição.
• Exportações flexíveis: Descarregue as transcrições nos formatos DOCX, PDF, TXT, SRT ou VTT, entre outros formatos de saída suportados.
• Fluxos de trabalho de legendagem: Revise o texto das legendas, ajuste a sincronização, crie exportações de legendas compatíveis e utilize as opções disponíveis de estilo ou de legendas fixas.
• Análise assistida por IA: As subscrições elegíveis fornecem resumos, capítulos, temas, tópicos, entidades, sentimentos e sugestões personalizadas.
• Espaço de Trabalho de IA: Os planos elegíveis permitem realizar análises adicionais em conjuntos de transcrições e documentos suportados.
• Colaboração em equipa: As subscrições elegíveis oferecem pastas partilhadas, permissões granulares, notas ao nível do parágrafo e edição de transcrições por turnos.
• Fluxos de trabalho dos programadores: As versões Core, Advanced, Pro e Enterprise oferecem Acesso à API para a automatização da transcrição e da exportação.
• Gravação de reuniões em direto: Agente Sonix suporta a transcrição em direto opcional para reuniões no Zoom, Google Meet e Microsoft Teams nos planos Pro e Enterprise.
• Segurança: A Sonix possui certificação SOC 2 Tipo II e utiliza encriptação TLS 1.3 em trânsito nos navegadores modernos e encriptação AES-256 em repouso. Na área médica, o Sonix Enterprise suporta fluxos de trabalho em conformidade com a HIPAA para informações de saúde protegidas e inclui um BAA.
• Preços transparentes: Custos do Sonix no regime de pagamento à utilização $10 por hora de ficheiros de áudio ou vídeo carregados sem uma assinatura mensal.

Quer esteja a documentar entrevistas, a preparar legendas, a organizar gravações de investigação ou a trabalhar com conteúdos multimédia multilingues, o Sonix ajuda a transformar conteúdo falado em texto que pode rever, pesquisar, exportar e partilhar.

Tentar Sonix grátis, com 30 minutos de transcrição para explorar o seu editor e as suas funcionalidades de exportação.

Perguntas mais frequentes

O OpenAI Whisper é totalmente gratuito?

O código e os pesos do modelo do OpenAI Whisper estão disponíveis ao abrigo da Licença MIT, pelo que o download e a utilização do modelo de código aberto não implicam o pagamento de qualquer taxa de licenciamento da OpenAI. A sua execução pode implicar custos de computação, e as aplicações de secretária de terceiros podem cobrar por funcionalidades adicionais. A API «whisper-1» alojada pela OpenAI é faturada separadamente e está prevista para ser encerrada a 26 de fevereiro de 2027.

O Whisper consegue transcrever áudio em tempo real enquanto alguém fala?

A implementação padrão do Whisper processa o áudio em segmentos, em vez de fornecer um serviço completo de transcrição nativa em tempo real. As aplicações de terceiros podem criar fluxos de trabalho de streaming ou de baixa latência com base nele, embora a latência dependa do modelo e da implementação. A OpenAI também disponibiliza APIs de transcrição em tempo real mais recentes para aplicações que necessitem de transcrição em direto.

Como é que o Whisper lida com vários interlocutores na mesma gravação?

O Whisper não inclui a diarização de falantes nativos no seu modelo autónomo. É possível utilizar ferramentas externas para combinar as transcrições do Whisper com sistemas de identificação de falantes. O Sonix fornece identificação automática de falantes e um editor baseado no navegador para rever e renomear os falantes.

Por que é que o Whisper, por vezes, transcreve texto que, na verdade, não foi dito?

O Whisper pode, ocasionalmente, gerar texto que não está presente numa gravação, especialmente durante passagens silenciosas, ruidosas ou com sinal fraco. Comparar o texto invulgar com o áudio original e ajustar as definições de processamento adequadas pode ajudar a identificar ou reduzir estes erros, mas nenhuma definição garante a sua eliminação total.

É seguro utilizar o Whisper para gravações confidenciais ou sensíveis?

A privacidade depende da forma de implementação. Uma instalação local do Whisper devidamente configurada pode processar gravações no próprio equipamento do utilizador, mas as aplicações de terceiros podem disponibilizar funcionalidades opcionais na nuvem. As APIs hospedadas transmitem o áudio para o prestador de serviços. No caso de conteúdos sensíveis, as organizações devem verificar o armazenamento, a transmissão, a retenção, os controlos de acesso, os contratos e os requisitos legais aplicáveis antes de processarem as gravações.