Uhm: 오디오와 비디오를 위한 온디바이스 필러워드 탐지
파형에서 직접 'um', 'uh', 'hmm' 등의 필러를 찾아내는 온디바이스 필러워드 탐지로, 20밀리초마다 한 번씩 예측합니다.
Uhm은 오디오에서 직접 필러를 찾아내는 프레임 단위 정밀 분류기로, 20밀리초마다 한 번씩 예측합니다. 파형을 읽으므로 먼저 전사를 수행할 필요가 없는데, 전사는 비유창성을 찾을 때 흔히 드는 비용입니다.
영어로 학습되었으며, 재학습 없이 스페인어, 프랑스어, 독일어, 네덜란드어로 음향적으로 전이됩니다. 전사는 도움조차 되지 않습니다. Whisper 같은 모델은 출력에서 필러를 빼버리므로, 'um'이 텍스트에 아예 나타나지 않아 찾거나 잘라낼 수 없습니다. Uhm은 오디오를 분석해 기기에서 필러를 탐지하며, 업로드도 분당 비용도 없습니다.
데모
성능
기기에서 오디오를 실시간의 296배 속도로 스캔하며, 20 ms마다 한 번 예측합니다.
실시간 배속 (오디오 길이 대비 분석 시간), fp16 Core ML, 웜 (내부)
| 기기 | 실시간 배속 |
|---|---|
| iPhone 17 Pro | ~296x |
| iPad Pro (M4) | ~279x |
| iPhone 15 Pro | ~169x |
내부 벤치마크. 영어로 학습되었으며, 스페인어, 프랑스어, 독일어, 네덜란드어로 음향적으로 전이됩니다.
활용 사례
팟캐스트와 비디오 편집
먼저 전사 패스를 돌리지 않고도, 잘라내거나 다듬을 모든 필러를 찾아냅니다.
전사 정리
비유창성을 음향적으로 표시하여 이후 전사본이 깔끔하게 읽히도록 합니다.
분당 비용 없음
WhisperX에 정규식을 붙이거나 분당 요금의 클라우드 음성 인식을 쓰는 대신, 기기에서 필러를 탐지합니다.
말하기 피드백
연습·코칭 도구를 위해 녹음된 발화에서 필러 빈도를 측정합니다.
기능 소개
- 프레임 단위 정밀: 20 ms마다 한 번 예측.
- 음향 기반 탐지: 파형에서 직접 작동하며 전사가 필요 없음.
Bias프리셋: 정밀도, 균형, 재현율.- 영어로 학습되었으며, 재학습 없이 스페인어, 프랑스어, 독일어, 네덜란드어로 전이됩니다.
플랫폼 및 설치
// Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/uhm-swift", from: "0.1.0")
import Uhm
let result = try await Uhm().analyze(audioURL: url)
for f in result.fillers { print(f.start, f.end, f.type ?? .other) }
사양
- 해상도
- 20 ms마다 한 번 예측
- 접근 방식
- 음향 기반, 전사 불필요
- 언어
- 영어, ES·FR·DE·NL로 전이
- 개인정보 보호
- 기기에서 실행되며, 오디오가 기기를 벗어나지 않습니다
자주 묻는 질문
Uhm은(는) 무엇인가요?
파형에서 직접 'um', 'uh', 'hmm' 등의 필러를 찾아내는 온디바이스 필러워드 탐지로, 20밀리초마다 한 번씩 예측합니다.
Uhm은(는) 온디바이스로 실행되나요?
네. Uhm은(는) 전적으로 기기에서 실행됩니다. 추론이 서버 호출 없이 로컬에서 이루어지므로 데이터가 기기를 벗어나지 않습니다.
Uhm은(는) 어떤 플랫폼을 지원하나요?
Uhm은(는) Swift용 네이티브 온디바이스 SDK로 제공됩니다.
Uhm의 비용은 얼마인가요?
모든 모델은 SDK당 월간 활성 기기 10만 대까지 무료입니다. 사용자당 추론은 무제한입니다. 맞춤 라이선스는 문의하기 바랍니다.
Uhm은(는) 얼마나 정확하고 빠른가요?
기기에서 오디오를 실시간의 296배 속도로 스캔하며, 20 ms마다 한 번 예측합니다.