Desert Ant Labs
Who: 온디바이스 오디오·비주얼 화자 분리
토킹헤드 영상을 위한 온디바이스 오디오·비주얼 화자 분리입니다. 발화 단위 화자 ID, 얼굴 트랙 앵커, 밀리초 단위 타임스탬프를 제공합니다.
Who는 토킹헤드 영상을 위한 온디바이스 오디오·비주얼 화자 분리입니다. 한 번의 호출로 세그먼트별 화자 ID, 얼굴 트랙 앵커, 정규화된 얼굴 경계 상자, 밀리초 단위 타임스탬프가 담긴 Whisper 호환 발화를 돌려주며, 컷 편집, 자막, 화자를 따라가는 카메라 전환에 적합합니다. 순수 오디오만 분리하는 대신 오디오와 얼굴 추적을 결합하는 비디오 우선 방식입니다.
활용 사례
화자 추적 편집
얼굴 맥락을 활용해 화자가 바뀔 때 컷을 넣거나 카메라를 전환하며, 토킹헤드와 멀티캠 영상에 알맞습니다.
자막
캡션과 자막을 위해 Whisper 호환 전사 발화에 화자 라벨을 붙입니다.
기능 소개
- 발화 단위: 화자 ID, 얼굴 트랙 ID, 정규화된 얼굴 bbox, 밀리초 타임스탬프.
- 자막 파이프라인을 위한 Whisper 호환 발화.
- 순수 오디오가 아닌, 비디오 우선 오디오·비주얼.
사양
- 정확도
- VoxConverse-dev에서 DER 9.87% (collar 0.25), Silero+CAM++ 베이스라인의 13.97% 대비
- 크기
- 약 17 MB 가중치
- 플랫폼
- Apple (Swift) 우선
자주 묻는 질문
Who은(는) 무엇인가요?
토킹헤드 영상을 위한 온디바이스 오디오·비주얼 화자 분리입니다. 발화 단위 화자 ID, 얼굴 트랙 앵커, 밀리초 단위 타임스탬프를 제공합니다.
Who은(는) 온디바이스로 실행되나요?
네. Who은(는) 전적으로 기기에서 실행됩니다. 추론이 서버 호출 없이 로컬에서 이루어지므로 데이터가 기기를 벗어나지 않습니다.
Who은(는) 지금 사용할 수 있나요?
Who은(는) 비공개 베타 단계입니다. 해당 페이지에서 얼리 액세스를 요청할 수 있습니다.
Who의 비용은 얼마인가요?
모든 모델은 SDK당 월간 활성 기기 10만 대까지 무료입니다. 사용자당 추론은 무제한입니다. 맞춤 라이선스는 문의하기 바랍니다.
얼리 액세스
무엇을 만들고 계신지 알려주시면 설정을 도와드리겠습니다.