Uhm: on-device detectie van vulwoorden voor audio en video
On-device detectie van vulwoorden die 'uh', 'eh', 'hmm' en andere vulwoorden rechtstreeks uit de golfvorm vindt, met één voorspelling per 20 milliseconden.
Uhm is een frame-precieze classifier die vulwoorden rechtstreeks in audio vindt, één voorspelling per 20 milliseconden. Het leest de golfvorm, dus er is geen transcript nodig, wat normaal de prijs is van het opsporen van haperingen.
Het is getraind op Engels en gaat akoestisch over naar Spaans, Frans, Duits en Nederlands zonder hertraining. Een transcript zou zelfs niet helpen: modellen zoals Whisper laten vulwoorden weg uit hun output, dus de uh's verschijnen nooit in de tekst om te vinden of te knippen. Uhm analyseert de audio en detecteert ze op het apparaat, zonder upload en zonder kosten per minuut.
Demo
Prestaties
Scant audio op 296x realtime, op het apparaat, met een voorspelling per 20 ms.
Realtime-factor (audioduur gedeeld door analysetijd), fp16 Core ML, warm (intern)
| Apparaat | Realtime-factor |
|---|---|
| iPhone 17 Pro | ~296x |
| iPad Pro (M4) | ~279x |
| iPhone 15 Pro | ~169x |
Interne benchmarks. Getraind op Engels; gaat akoestisch over naar Spaans, Frans, Duits en Nederlands.
Toepassingen
Podcasts en video monteren
Vind elk vulwoord om te knippen of aan te scherpen, zonder eerst een transcriptie te draaien.
Transcripties opschonen
Markeer haperingen akoestisch, zodat transcripten verderop schoon leesbaar zijn.
Geen kosten per minuut
Detecteer vulwoorden op het apparaat in plaats van WhisperX aan regex te plakken of per minuut te betalen voor cloud-speech-to-text.
Feedback op spreken
Meet de frequentie van vulwoorden in opgenomen spraak voor oefen- en coachingtools.
Wat het doet
- Frame-precies: één voorspelling per 20 ms.
- Akoestische detectie: werkt rechtstreeks op de golfvorm, geen transcript nodig.
Bias-preset: precision, balanced of recall.- Getraind op Engels, gaat over naar Spaans, Frans, Duits en Nederlands zonder hertraining.
Platforms en installatie
// Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/uhm-swift", from: "0.1.0")
import Uhm
let result = try await Uhm().analyze(audioURL: url)
for f in result.fillers { print(f.start, f.end, f.type ?? .other) }
Specs
- Resolutie
- Eén voorspelling per 20 ms
- Aanpak
- Akoestisch, zonder transcript
- Talen
- Engels, gaat over naar ES, FR, DE, NL
- Privacy
- Draait op het apparaat; audio verlaat nooit het apparaat
FAQ
Wat is Uhm?
On-device detectie van vulwoorden die 'uh', 'eh', 'hmm' en andere vulwoorden rechtstreeks uit de golfvorm vindt, met één voorspelling per 20 milliseconden.
Draait Uhm op het apparaat?
Ja. Uhm draait volledig op het apparaat: inferentie gebeurt lokaal, zonder serveraanroep, dus data verlaat nooit het apparaat.
Welke platforms ondersteunt Uhm?
Uhm wordt geleverd als native on-device SDK's voor Swift.
Hoeveel kost Uhm?
Elk model is gratis voor maximaal 100k maandelijks actieve apparaten per SDK. Onbeperkte inferentie per gebruiker. Neem contact op voor aangepaste licenties.
Hoe nauwkeurig of snel is Uhm?
Scant audio op 296x realtime, op het apparaat, met een voorspelling per 20 ms.