Desert Ant Labs

Who: diarizzazione audio-visiva dei parlanti on-device

Diarizzazione dei parlantiBeta chiusa

Diarizzazione audio-visiva dei parlanti on-device per video con volti parlanti: ID del parlante per ogni turno, ancore delle tracce dei volti e timestamp al millisecondo.

Who è la diarizzazione audio-visiva dei parlanti on-device per video con volti parlanti. Una sola chiamata restituisce turni compatibili con Whisper con ID del parlante per segmento, ancore delle tracce dei volti, riquadri di delimitazione dei volti normalizzati e timestamp al millisecondo, adatti al montaggio, ai sottotitoli e al cambio di camera che segue chi parla. È pensato prima di tutto per il video, combinando audio e tracciamento dei volti invece di diarizzare solo l'audio.

Who è in beta chiusa. In sviluppo. Accesso anticipato su richiesta.

Casi d'uso

Montaggio che segue chi parla

Taglia o cambia camera al cambio di parlante con il contesto del volto, per video con volti parlanti e multicamera.

Sottotitoli

Associa etichette dei parlanti ai turni di trascrizione compatibili con Whisper per didascalie e sottotitoli.

Cosa fa

  • Per turno: id del parlante, id della traccia del volto, bbox del volto normalizzato, timestamp al millisecondo.
  • Turni compatibili con Whisper per pipeline di sottotitolazione.
  • Audio-visivo pensato prima per il video, non solo audio.

Specifiche

Precisione
9,87 % di DER su VoxConverse-dev (collar 0,25), contro 13,97 % della baseline Silero+CAM++
Dimensione
~17 MB di pesi
Piattaforma
Prima Apple (Swift)

FAQ

Cos'è Who?

Diarizzazione audio-visiva dei parlanti on-device per video con volti parlanti: ID del parlante per ogni turno, ancore delle tracce dei volti e timestamp al millisecondo.

Who funziona sul dispositivo?

Sì. Who funziona interamente sul dispositivo: l'inferenza avviene in locale senza alcuna chiamata a un server, quindi i dati non lasciano mai il dispositivo.

Who è già disponibile?

Who è in beta chiusa. Puoi richiedere l'accesso anticipato dalla sua pagina.

Quanto costa Who?

Ogni modello è gratuito fino a 100k dispositivi attivi mensili per SDK. Inferenza illimitata per utente. Contattaci per licenze personalizzate.

Accesso anticipato

Raccontaci cosa stai costruendo e ti aiutiamo a iniziare.