Desert Ant Labs
Who：オンデバイスの音声・映像による話者ダイアライゼーション
トーキングヘッド動画向けの、オンデバイスの音声・映像による話者ダイアライゼーション。発話区間ごとの話者 ID、顔トラックのアンカー、ミリ秒単位のタイムスタンプを返します。
Who は、トーキングヘッド動画向けのオンデバイスの音声・映像による話者ダイアライゼーションです。1 回の呼び出しで、Whisper 互換の発話区間に、区間ごとの話者 ID、顔トラックのアンカー、正規化された顔のバウンディングボックス、ミリ秒単位のタイムスタンプを付けて返します。カット編集、字幕付け、話者を追うカメラ切り替えに使えます。音声だけをダイアライズするのではなく、音声と顔トラッキングを組み合わせる映像優先の設計です。
ユースケース
話者を追う編集
話者が変わったところで、顔の文脈を手がかりにカットやカメラ切り替えを行います。トーキングヘッドやマルチカメラの動画向けです。
字幕付け
Whisper 互換の文字起こしの発話区間に話者ラベルを付け、キャプションや字幕に活用します。
できること
- 発話区間ごとに：話者 ID、顔トラック ID、正規化された顔の bbox、ミリ秒単位のタイムスタンプ。
- 字幕生成のパイプライン向けの Whisper 互換の発話区間。
- 音声だけでなく、映像優先の音声・映像方式。
仕様
- 精度
- VoxConverse-dev で DER 9.87%（collar 0.25）。Silero+CAM++ のベースラインは 13.97%
- サイズ
- 重み約 17 MB
- プラットフォーム
- まず Apple（Swift）
FAQ
Who とは？
トーキングヘッド動画向けの、オンデバイスの音声・映像による話者ダイアライゼーション。発話区間ごとの話者 ID、顔トラックのアンカー、ミリ秒単位のタイムスタンプを返します。
Who はオンデバイスで動作しますか？
はい。Who は完全にオンデバイスで動作します。推論はローカルで行われ、サーバーへの通信は発生しないため、データがデバイスの外に出ることはありません。
Who はもう利用できますか？
Who はクローズドベータです。このページから早期アクセスをリクエストできます。
Who の料金はいくらですか？
すべてのモデルは、SDK ごとに月間アクティブデバイス 100k 台まで無料です。ユーザーあたりの推論は無制限です。 カスタムライセンスについては、お問い合わせください。
早期アクセス
開発中のプロダクトについてお聞かせください。セットアップをお手伝いします。