Desert Ant Labs
Who：设备端视听说话人分离
面向出镜人物视频的设备端视听说话人分离：逐段说话人ID、人脸轨迹锚点和毫秒级时间戳。
Who是面向出镜人物视频的设备端视听说话人分离。一次调用即可返回与Whisper兼容的对话段，附带逐段说话人ID、人脸轨迹锚点、归一化的人脸边界框和毫秒级时间戳，适用于剪辑、字幕和跟随说话人切换镜头。它以视频为先，结合音频与人脸跟踪，而非仅对纯音频做分离。
应用场景
跟随说话人剪辑
在说话人切换时借助人脸上下文剪辑或切换镜头，适用于出镜人物和多机位视频。
字幕制作
为与Whisper兼容的转写对话段附加说话人标签，用于字幕。
功能
- 逐段提供：说话人id、人脸轨迹id、归一化人脸边界框、毫秒级时间戳。
- 与Whisper兼容的对话段，适配字幕流水线。
- 以视频为先的视听方案，而非纯音频。
规格
- 准确度
- 在VoxConverse-dev上DER为9.87%（collar 0.25），而Silero+CAM++基线为13.97%
- 体积
- 约17 MB权重
- 平台
- 优先Apple（Swift）
常见问题
Who是什么？
面向出镜人物视频的设备端视听说话人分离：逐段说话人ID、人脸轨迹锚点和毫秒级时间戳。
Who在设备上运行吗？
是的。Who完全在设备上运行：推理在本地完成，不调用任何服务器，因此数据不会离开设备。
Who现在可用了吗？
Who目前处于封闭测试阶段。你可以在其页面上申请抢先体验。
Who的价格是多少？
每个模型的每个SDK均可免费支持最多10万台月活跃设备。每位用户可无限次推理。 如需定制授权，请联系我们。
抢先体验
告诉我们你正在开发什么，我们会帮你把一切准备就绪。