Who: diarizzazione audio-visiva dei parlanti on-device
Diarizzazione audio-visiva dei parlanti on-device per video con volti parlanti: ID del parlante per ogni turno, ancore delle tracce dei volti e timestamp al millisecondo.
Who è la diarizzazione audio-visiva dei parlanti on-device per video con volti parlanti. Una sola chiamata restituisce turni compatibili con Whisper con ID del parlante per segmento, ancore delle tracce dei volti, riquadri di delimitazione dei volti normalizzati e timestamp al millisecondo, adatti al montaggio, ai sottotitoli e al cambio di camera che segue chi parla. È pensato prima di tutto per il video, combinando audio e tracciamento dei volti invece di diarizzare solo l'audio.
Casi d'uso
Montaggio che segue chi parla
Taglia o cambia camera al cambio di parlante con il contesto del volto, per video con volti parlanti e multicamera.
Sottotitoli
Associa etichette dei parlanti ai turni di trascrizione compatibili con Whisper per didascalie e sottotitoli.
Cosa fa
- Per turno: id del parlante, id della traccia del volto, bbox del volto normalizzato, timestamp al millisecondo.
- Turni compatibili con Whisper per pipeline di sottotitolazione.
- Audio-visivo pensato prima per il video, non solo audio.
Specifiche
- Precisione
- 9,87 % di DER su VoxConverse-dev (collar 0,25), contro 13,97 % della baseline Silero+CAM++
- Dimensione
- ~17 MB di pesi
- Piattaforma
- Prima Apple (Swift)
FAQ
Cos'è Who?
Diarizzazione audio-visiva dei parlanti on-device per video con volti parlanti: ID del parlante per ogni turno, ancore delle tracce dei volti e timestamp al millisecondo.
Who funziona sul dispositivo?
Sì. Who funziona interamente sul dispositivo: l'inferenza avviene in locale senza alcuna chiamata a un server, quindi i dati non lasciano mai il dispositivo.
Who è già disponibile?
Who è in beta chiusa. Puoi richiedere l'accesso anticipato dalla sua pagina.
Quanto costa Who?
Ogni modello è gratuito fino a 100k dispositivi attivi mensili per SDK. Inferenza illimitata per utente. Contattaci per licenze personalizzate.
Accesso anticipato
Raccontaci cosa stai costruendo e ti aiutiamo a iniziare.