Who: Audiovisuelle Sprecher-Diarisierung auf dem Gerät
Audiovisuelle Sprecher-Diarisierung auf dem Gerät für Talking-Head-Videos: Sprecher-IDs pro Redebeitrag, Gesichtsspur-Anker und Zeitstempel im Millisekundenbereich.
Who ist audiovisuelle Sprecher-Diarisierung auf dem Gerät für Talking-Head-Videos. Ein Aufruf liefert Whisper-kompatible Redebeiträge mit Sprecher-IDs pro Segment, Gesichtsspur-Anker, normalisierte Gesichts-Bounding-Boxes und Zeitstempel im Millisekundenbereich, geeignet für Schnitt, Untertitelung und dem Sprecher folgendes Kameraumschalten. Es ist video-first und kombiniert Audio mit Gesichtsverfolgung, statt reines Audio zu diarisieren.
Anwendungsfälle
Dem Sprecher folgender Schnitt
Schneiden oder Kamera umschalten bei Sprecherwechsel mit Gesichtskontext, für Talking-Head- und Multicam-Video.
Untertitelung
Versehen Sie Whisper-kompatible Transkript-Redebeiträge mit Sprecherlabels für Untertitel und Beschriftungen.
Was es macht
- Pro Redebeitrag: Sprecher-ID, Gesichtsspur-ID, normalisierte Gesichts-Bounding-Box, Zeitstempel im Millisekundenbereich.
- Whisper-kompatible Redebeiträge für Untertitelungs-Pipelines.
- Audiovisuell und video-first, nicht reines Audio.
Technische Daten
- Genauigkeit
- 9,87 % DER auf VoxConverse-dev (Collar 0,25), gegenüber 13,97 % bei der Silero+CAM++-Baseline
- Größe
- ~17 MB Gewichte
- Plattform
- Apple (Swift) zuerst
FAQ
Was ist Who?
Audiovisuelle Sprecher-Diarisierung auf dem Gerät für Talking-Head-Videos: Sprecher-IDs pro Redebeitrag, Gesichtsspur-Anker und Zeitstempel im Millisekundenbereich.
Läuft Who auf dem Gerät?
Ja. Who läuft vollständig auf dem Gerät: Die Inferenz erfolgt lokal ohne Serveraufruf, sodass keine Daten das Gerät verlassen.
Ist Who schon verfügbar?
Who befindet sich in einer geschlossenen Beta. Sie können auf der zugehörigen Seite frühen Zugang anfordern.
Was kostet Who?
Jedes Modell ist für bis zu 100k monatlich aktive Geräte pro SDK kostenlos. Unbegrenzte Inferenz pro Nutzer. Kontaktieren Sie uns für individuelle Lizenzen.
Früher Zugang
Sagen Sie uns, was Sie entwickeln, und wir richten Ihnen alles ein.