Uhm: detecção de palavras de preenchimento no dispositivo para áudio e vídeo
Detecção de palavras de preenchimento no dispositivo que encontra 'um', 'uh', 'hmm' e outras hesitações direto da forma de onda, com uma previsão a cada 20 milissegundos.
O Uhm é um classificador preciso ao quadro que encontra hesitações diretamente no áudio, uma previsão a cada 20 milissegundos. Ele lê a forma de onda, então não há transcrição para rodar antes, que é o custo habitual de encontrar disfluências.
Ele foi treinado em inglês e transfere acusticamente para espanhol, francês, alemão e holandês sem retreinamento. Uma transcrição nem ajudaria: modelos como o Whisper deixam as hesitações de fora da saída, então os 'um' nunca aparecem no texto para encontrar ou cortar. O Uhm analisa o áudio e os detecta no dispositivo, sem upload e sem custo por minuto.
Demo
Desempenho
Varre o áudio a 296x tempo real, no dispositivo, com uma previsão a cada 20 ms.
Fator de tempo real (duração do áudio sobre o tempo de análise), Core ML fp16, aquecido (interno)
| Dispositivo | Fator de tempo real |
|---|---|
| iPhone 17 Pro | ~296x |
| iPad Pro (M4) | ~279x |
| iPhone 15 Pro | ~169x |
Benchmarks internos. Treinado em inglês; transfere acusticamente para espanhol, francês, alemão e holandês.
Casos de uso
Edição de podcast e vídeo
Localize cada hesitação para cortar ou enxugar, sem rodar uma passagem de transcrição antes.
Limpeza de transcrição
Marque disfluências acusticamente para que as transcrições seguintes fiquem limpas.
Sem custo por minuto
Detecte hesitações no dispositivo em vez de juntar WhisperX mais regex ou pagar por speech-to-text em nuvem por minuto.
Feedback de oratória
Meça a frequência de hesitações na fala gravada para ferramentas de prática e coaching.
O que ele faz
- Preciso ao quadro: uma previsão a cada 20 ms.
- Detecção acústica: funciona direto na forma de onda, sem transcrição.
- Preset
Bias: precisão, equilibrado ou recall. - Treinado em inglês, transfere para espanhol, francês, alemão e holandês sem retreinamento.
Plataformas e instalação
// Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/uhm-swift", from: "0.1.0")
import Uhm
let result = try await Uhm().analyze(audioURL: url)
for f in result.fillers { print(f.start, f.end, f.type ?? .other) }
Especificações
- Resolução
- Uma previsão a cada 20 ms
- Abordagem
- Acústica, sem transcrição
- Idiomas
- Inglês, transfere para ES, FR, DE, NL
- Privacidade
- Roda no dispositivo; o áudio nunca sai do dispositivo
FAQ
O que é o Uhm?
Detecção de palavras de preenchimento no dispositivo que encontra 'um', 'uh', 'hmm' e outras hesitações direto da forma de onda, com uma previsão a cada 20 milissegundos.
O Uhm roda no dispositivo?
Sim. O Uhm roda inteiramente no dispositivo: a inferência acontece localmente, sem chamada a servidor, então os dados nunca saem do dispositivo.
Quais plataformas o Uhm suporta?
O Uhm é distribuído como SDKs nativos no dispositivo para Swift.
Quanto custa o Uhm?
Cada modelo é grátis para até 100 mil dispositivos ativos mensais por SDK. Inferência ilimitada por usuário. Fale conosco para licenças personalizadas.
Qual a precisão e a velocidade do Uhm?
Varre o áudio a 296x tempo real, no dispositivo, com uma previsão a cada 20 ms.