Who : diarisation audio-visuelle des locuteurs sur l'appareil
Diarisation audio-visuelle des locuteurs sur l'appareil pour la vidéo face caméra : identifiants de locuteur par tour de parole, ancrages de suivi de visage et horodatages à la milliseconde.
Who est une diarisation audio-visuelle des locuteurs sur l'appareil pour la vidéo face caméra. Un seul appel renvoie des tours de parole compatibles Whisper avec des identifiants de locuteur par segment, des ancrages de suivi de visage, des boîtes englobantes de visage normalisées et des horodatages à la milliseconde, adaptés au montage, au sous-titrage et à la bascule caméra qui suit le locuteur. Il est pensé pour la vidéo d'abord, combinant l'audio et le suivi de visage plutôt que de diariser de l'audio seul.
Cas d'usage
Montage qui suit le locuteur
Coupez ou changez de caméra au changement de locuteur, avec le contexte du visage, pour la vidéo face caméra et multicam.
Sous-titrage
Associez des étiquettes de locuteur aux tours de parole compatibles Whisper, pour les sous-titres et légendes.
Ce que ça fait
- Par tour de parole : identifiant de locuteur, identifiant de suivi de visage, boîte englobante de visage normalisée, horodatages à la milliseconde.
- Tours de parole compatibles Whisper pour les pipelines de sous-titrage.
- Audio-visuel pensé pour la vidéo d'abord, pas de l'audio seul.
Spécifications
- Précision
- 9,87 % de DER sur VoxConverse-dev (collar 0,25), contre 13,97 % pour la référence Silero+CAM++
- Taille
- ~17 MB de poids
- Plateforme
- Apple (Swift) en premier
FAQ
Qu'est-ce que Who ?
Diarisation audio-visuelle des locuteurs sur l'appareil pour la vidéo face caméra : identifiants de locuteur par tour de parole, ancrages de suivi de visage et horodatages à la milliseconde.
Who fonctionne-t-il sur l'appareil ?
Oui. Who s'exécute entièrement sur l'appareil : l'inférence a lieu en local, sans appel serveur, de sorte que les données ne quittent jamais l'appareil.
Who est-il déjà disponible ?
Who est en bêta fermée. Vous pouvez demander un accès anticipé depuis sa page.
Combien coûte Who ?
Chaque modèle est gratuit jusqu'à 100k appareils actifs mensuels par SDK. Inférence illimitée par utilisateur. Contactez-nous pour des licences sur mesure.
Accès anticipé
Dites-nous ce que vous construisez et nous vous aidons à démarrer.