Who: diarización audiovisual de hablantes en el dispositivo
Diarización audiovisual de hablantes en el dispositivo para vídeo de bustos parlantes: IDs de hablante por turno, anclas de seguimiento de rostro y marcas de tiempo en milisegundos.
Who es diarización audiovisual de hablantes en el dispositivo para vídeo de bustos parlantes. Una llamada devuelve turnos compatibles con Whisper con IDs de hablante por segmento, anclas de seguimiento de rostro, cuadros delimitadores de rostro normalizados y marcas de tiempo en milisegundos, aptos para cortar, subtitular y cambiar de cámara siguiendo al hablante. Es un enfoque que prioriza el vídeo, combinando audio y seguimiento de rostros en lugar de diarizar audio puro.
Casos de uso
Edición que sigue al hablante
Corta o cambia de cámara al cambiar de hablante con contexto de rostro, para vídeo de bustos parlantes y multicámara.
Subtitulado
Adjunta etiquetas de hablante a los turnos de transcripción compatibles con Whisper para rótulos y subtítulos.
Qué hace
- Por turno: id de hablante, id de seguimiento de rostro, bbox de rostro normalizado, marcas de tiempo en milisegundos.
- Turnos compatibles con Whisper para pipelines de subtitulado.
- Audiovisual con prioridad al vídeo, no audio puro.
Especificaciones
- Precisión
- DER del 9,87 % en VoxConverse-dev (collar 0,25), frente al 13,97 % de la línea base Silero+CAM++
- Tamaño
- ~17 MB de pesos
- Plataforma
- Apple (Swift) primero
Preguntas frecuentes
¿Qué es Who?
Diarización audiovisual de hablantes en el dispositivo para vídeo de bustos parlantes: IDs de hablante por turno, anclas de seguimiento de rostro y marcas de tiempo en milisegundos.
¿Who se ejecuta en el dispositivo?
Sí. Who se ejecuta por completo en el dispositivo: la inferencia ocurre localmente sin ninguna llamada a servidor, así que los datos nunca salen del dispositivo.
¿Ya está disponible Who?
Who está en beta cerrada. Puedes solicitar acceso anticipado desde su página.
¿Cuánto cuesta Who?
Todos los modelos son gratis hasta 100 000 dispositivos activos mensuales por SDK. Inferencia ilimitada por usuario. Contáctanos para licencias personalizadas.
Acceso anticipado
Cuéntanos qué estás construyendo y te lo dejamos listo.