Who: Audiovisuell talardiarisering på enheten
Audiovisuell talardiarisering på enheten för talking head-video: talar-ID per taltur, ankare för ansiktsspår och tidsstämplar på millisekundnivå.
Who är audiovisuell talardiarisering på enheten för talking head-video. Ett anrop returnerar Whisper-kompatibla talturer med talar-ID per segment, ankare för ansiktsspår, normaliserade avgränsningsrutor för ansikten och tidsstämplar på millisekundnivå, lämpliga för klippning, textning och kameraväxling som följer talaren. Den är video-först och kombinerar ljud och ansiktsspårning i stället för att diarisera enbart ljud.
Användningsfall
Redigering som följer talaren
Klipp eller växla kamera vid talarbyte med ansiktskontext, för talking head- och flerkameravideo.
Textning
Fäst talaretiketter på Whisper-kompatibla transkriptionsturer för texter och undertexter.
Vad den gör
- Per taltur: talar-ID, ansiktsspår-ID, normaliserad ansikts-bbox, tidsstämplar på millisekundnivå.
- Whisper-kompatibla talturer för textnings-pipelines.
- Audiovisuell och video-först, inte enbart ljud.
Specifikationer
- Träffsäkerhet
- 9,87% DER på VoxConverse-dev (collar 0,25), mot 13,97% för Silero+CAM++-baslinjen
- Storlek
- ~17 MB vikter
- Plattform
- Apple (Swift) först
Vanliga frågor
Vad är Who?
Audiovisuell talardiarisering på enheten för talking head-video: talar-ID per taltur, ankare för ansiktsspår och tidsstämplar på millisekundnivå.
Körs Who lokalt på enheten?
Ja. Who körs helt lokalt på enheten: inferensen sker lokalt utan något serveranrop, så data lämnar aldrig enheten.
Är Who tillgänglig än?
Who är i stängd beta. Du kan begära tidig åtkomst från dess sida.
Vad kostar Who?
Varje modell är gratis för upp till 100k månadsaktiva enheter per SDK. Obegränsad inferens per användare. Kontakta oss för anpassade licenser.
Tidig åtkomst
Berätta vad du bygger, så hjälper vi dig igång.