Who: diarização audiovisual de locutores no dispositivo
Diarização audiovisual de locutores no dispositivo para vídeo de pessoa falando: IDs de locutor por turno, âncoras de rastreamento facial e timestamps em milissegundos.
O Who é diarização audiovisual de locutores no dispositivo para vídeo de pessoa falando. Uma chamada retorna turnos compatíveis com o Whisper com IDs de locutor por segmento, âncoras de rastreamento facial, bounding boxes de rosto normalizadas e timestamps em milissegundos, adequados para cortes, legendas e troca de câmera que segue o locutor. Ele é orientado a vídeo, combinando áudio e rastreamento facial em vez de diarizar áudio puro.
Casos de uso
Edição que segue o locutor
Corte ou troque de câmera na mudança de locutor com contexto facial, para vídeo de pessoa falando e multicâmera.
Legendagem
Anexe rótulos de locutor aos turnos de transcrição compatíveis com o Whisper para legendas.
O que ele faz
- Por turno: id do locutor, id de rastreamento facial, bbox de rosto normalizada, timestamps em milissegundos.
- Turnos compatíveis com o Whisper para pipelines de legendagem.
- Audiovisual orientado a vídeo, não áudio puro.
Especificações
- Precisão
- 9,87% de DER no VoxConverse-dev (collar 0,25), vs 13,97% da baseline Silero+CAM++
- Tamanho
- ~17 MB de pesos
- Plataforma
- Apple (Swift) primeiro
FAQ
O que é o Who?
Diarização audiovisual de locutores no dispositivo para vídeo de pessoa falando: IDs de locutor por turno, âncoras de rastreamento facial e timestamps em milissegundos.
O Who roda no dispositivo?
Sim. O Who roda inteiramente no dispositivo: a inferência acontece localmente, sem chamada a servidor, então os dados nunca saem do dispositivo.
O Who já está disponível?
O Who está em beta fechado. Você pode solicitar acesso antecipado na página dele.
Quanto custa o Who?
Cada modelo é grátis para até 100 mil dispositivos ativos mensais por SDK. Inferência ilimitada por usuário. Fale conosco para licenças personalizadas.
Acesso antecipado
Conte o que você está construindo e nós ajudamos você a começar.