Who: on-device audiovisuele sprekerdiarisatie
On-device audiovisuele sprekerdiarisatie voor talking-head-video: sprekers-ID's per beurt, face-track-ankers en tijdstempels op milliseconden.
Who is on-device audiovisuele sprekerdiarisatie voor talking-head-video. Eén aanroep geeft Whisper-compatibele beurten terug met sprekers-ID's per segment, face-track-ankers, genormaliseerde gezichts-bounding-boxes en tijdstempels op milliseconden, geschikt voor monteren, ondertitelen en het omschakelen van camera's naar de spreker. Het is video-first en combineert audio en gezichtstracking in plaats van pure audio te diariseren.
Toepassingen
Monteren op de spreker
Knip of schakel van camera bij een wisseling van spreker, met gezichtscontext, voor talking-head- en multicam-video.
Ondertiteling
Koppel sprekerlabels aan Whisper-compatibele transcriptbeurten voor ondertitels.
Wat het doet
- Per beurt: sprekers-id, face-track-id, genormaliseerde gezichts-bbox, tijdstempels op milliseconden.
- Whisper-compatibele beurten voor ondertitelpipelines.
- Video-first audiovisueel, geen pure audio.
Specs
- Nauwkeurigheid
- 9,87% DER op VoxConverse-dev (collar 0,25), vs 13,97% voor de Silero+CAM++-baseline
- Grootte
- ~17 MB gewichten
- Platform
- Apple (Swift) eerst
FAQ
Wat is Who?
On-device audiovisuele sprekerdiarisatie voor talking-head-video: sprekers-ID's per beurt, face-track-ankers en tijdstempels op milliseconden.
Draait Who op het apparaat?
Ja. Who draait volledig op het apparaat: inferentie gebeurt lokaal, zonder serveraanroep, dus data verlaat nooit het apparaat.
Is Who al beschikbaar?
Who is in besloten bèta. Je kunt early access aanvragen op de pagina.
Hoeveel kost Who?
Elk model is gratis voor maximaal 100k maandelijks actieve apparaten per SDK. Onbeperkte inferentie per gebruiker. Neem contact op voor aangepaste licenties.
Early access
Vertel ons wat je bouwt, dan zetten we je op weg.