Uhm: Detektion av utfyllnadsord på enheten för ljud och video
Detektion av utfyllnadsord på enheten som hittar ”eh”, ”öh”, ”hmm” och andra utfyllnadsord direkt ur vågformen, med en prediktion var 20:e millisekund.
Uhm är en klassificerare med rambaserad precision som hittar utfyllnadsord direkt i ljudet, en prediktion var 20:e millisekund. Den läser vågformen, så det finns ingen transkription att köra först, vilket annars är den vanliga kostnaden för att hitta disfluenser.
Den tränades på engelska och överförs akustiskt till spanska, franska, tyska och nederländska utan omträning. En transkription skulle inte ens hjälpa: modeller som Whisper utelämnar utfyllnadsord ur sin utdata, så alla eh dyker aldrig upp i texten att hitta eller klippa bort. Uhm analyserar ljudet och upptäcker dem på enheten, utan uppladdning och utan minutkostnad.
Demo
Prestanda
Skannar ljud i 296x realtid, på enheten, med en prediktion var 20:e ms.
Realtidsfaktor (ljudlängd genom analystid), fp16 Core ML, varm (internt)
| Enhet | Realtidsfaktor |
|---|---|
| iPhone 17 Pro | ~296x |
| iPad Pro (M4) | ~279x |
| iPhone 15 Pro | ~169x |
Interna benchmarks. Tränad på engelska; överförs akustiskt till spanska, franska, tyska och nederländska.
Användningsfall
Podd- och videoredigering
Hitta varje utfyllnadsord att klippa bort eller strama åt, utan att först köra en transkription.
Transkriptionsrensning
Flagga disfluenser akustiskt så att efterföljande transkriptioner läses rent.
Ingen minutkostnad
Upptäck utfyllnadsord på enheten i stället för att limma ihop WhisperX plus regex eller betala molnbaserad tal-till-text per minut.
Återkoppling på tal
Mät frekvensen av utfyllnadsord i inspelat tal för övnings- och coachningsverktyg.
Vad den gör
- Rambaserad precision: en prediktion var 20:e ms.
- Akustisk detektion: fungerar direkt på vågformen, ingen transkription krävs.
- Förinställningen
Bias: precision, balanserad eller recall. - Tränad på engelska, överförs till spanska, franska, tyska och nederländska utan omträning.
Plattformar och installation
// Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/uhm-swift", from: "0.1.0")
import Uhm
let result = try await Uhm().analyze(audioURL: url)
for f in result.fillers { print(f.start, f.end, f.type ?? .other) }
Specifikationer
- Upplösning
- En prediktion var 20:e ms
- Metod
- Akustisk, utan transkription
- Språk
- Engelska, överförs till ES, FR, DE, NL
- Integritet
- Körs på enheten; ljudet lämnar aldrig enheten
Vanliga frågor
Vad är Uhm?
Detektion av utfyllnadsord på enheten som hittar ”eh”, ”öh”, ”hmm” och andra utfyllnadsord direkt ur vågformen, med en prediktion var 20:e millisekund.
Körs Uhm lokalt på enheten?
Ja. Uhm körs helt lokalt på enheten: inferensen sker lokalt utan något serveranrop, så data lämnar aldrig enheten.
Vilka plattformar stöder Uhm?
Uhm levereras som nativa on-device-SDK:er för Swift.
Vad kostar Uhm?
Varje modell är gratis för upp till 100k månadsaktiva enheter per SDK. Obegränsad inferens per användare. Kontakta oss för anpassade licenser.
Hur träffsäker eller snabb är Uhm?
Skannar ljud i 296x realtid, på enheten, med en prediktion var 20:e ms.