Who: diarização audiovisual de oradores no dispositivo
Diarização audiovisual de oradores no dispositivo para vídeo de busto: IDs de orador por intervenção, âncoras de trajetória facial e marcas temporais ao milissegundo.
O Who é diarização audiovisual de oradores no dispositivo para vídeo de busto. Uma chamada devolve intervenções compatíveis com o Whisper, com IDs de orador por segmento, âncoras de trajetória facial, caixas delimitadoras de rosto normalizadas e marcas temporais ao milissegundo, adequadas para cortar, legendar e alternar a câmara em função de quem fala. É orientado para vídeo, combinando áudio e seguimento facial em vez de diarizar apenas áudio.
Casos de uso
Edição que segue quem fala
Corte ou alterne a câmara quando muda o orador, com contexto facial, para vídeo de busto e multicâmara.
Legendagem
Associe rótulos de orador às intervenções de transcrição compatíveis com o Whisper, para legendas.
O que faz
- Por intervenção: id de orador, id de trajetória facial, bbox de rosto normalizada, marcas temporais ao milissegundo.
- Intervenções compatíveis com o Whisper para pipelines de legendagem.
- Audiovisual orientado para vídeo, não apenas áudio.
Especificações
- Precisão
- 9,87% de DER em VoxConverse-dev (collar 0,25), vs 13,97% da linha de base Silero+CAM++
- Tamanho
- ~17 MB de pesos
- Plataforma
- Apple (Swift) primeiro
FAQ
O que é o Who?
Diarização audiovisual de oradores no dispositivo para vídeo de busto: IDs de orador por intervenção, âncoras de trajetória facial e marcas temporais ao milissegundo.
O Who é executado no dispositivo?
Sim. O Who é executado inteiramente no dispositivo: a inferência acontece localmente, sem qualquer chamada a servidores, por isso os dados nunca saem do dispositivo.
O Who já está disponível?
O Who está em beta fechada. Pode pedir acesso antecipado na respetiva página.
Quanto custa o Who?
Todos os modelos são gratuitos para até 100k dispositivos ativos mensais por SDK. Inferência ilimitada por utilizador. Contacte-nos para licenças personalizadas.
Acesso antecipado
Diga-nos o que está a construir e ajudamo-lo a começar.