Uhm：音声・動画向けのオンデバイスのフィラー検出
波形から直接「um」「uh」「hmm」などのフィラーを見つける、オンデバイスのフィラー検出。20 ミリ秒ごとに 1 回予測します。
Uhm はフレーム単位で正確な分類器で、音声から直接フィラーを見つけ、20 ミリ秒ごとに 1 回予測します。波形を読み取るため、事前に文字起こしを行う必要がありません。文字起こしは、通常このような言いよどみを見つける際にかかるコストです。
英語で学習されており、再学習なしにスペイン語、フランス語、ドイツ語、オランダ語へ音響的に転移します。そもそも文字起こしは役に立ちません。Whisper のようなモデルは出力からフィラーを省くため、見つけたり削ったりすべき「えー」がテキストに現れないのです。Uhm は音声を解析し、オンデバイスで検出します。アップロードも分単位の課金もありません。
デモ
パフォーマンス
音声を実時間の 296 倍で解析し、20 ms ごとに予測します。すべてオンデバイスです。
実時間比（音声の長さ ÷ 解析時間）、fp16 Core ML、ウォーム状態（社内計測）
| デバイス | 実時間比 |
|---|---|
| iPhone 17 Pro | ~296x |
| iPad Pro (M4) | ~279x |
| iPhone 15 Pro | ~169x |
社内ベンチマーク。英語で学習し、スペイン語、フランス語、ドイツ語、オランダ語へ音響的に転移します。
ユースケース
ポッドキャストと動画の編集
事前の文字起こしなしで、削ったり詰めたりすべきフィラーをすべて特定します。
文字起こしのクリーンアップ
言いよどみを音響的に検出し、後段の文字起こしがすっきり読めるようにします。
分単位の課金なし
WhisperX と正規表現を組み合わせたり、分単位課金のクラウド音声認識に頼ったりせず、オンデバイスでフィラーを検出します。
話し方のフィードバック
録音した発話のフィラーの頻度を測定し、練習やコーチングのツールに活かします。
できること
- フレーム単位で正確：20 ms ごとに 1 回予測。
- 音響的な検出：波形上で直接動作し、文字起こしは不要。
Biasプリセット：precision、balanced、recall。- 英語で学習し、再学習なしでスペイン語、フランス語、ドイツ語、オランダ語へ転移。
プラットフォームとインストール
// Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/uhm-swift", from: "0.1.0")
import Uhm
let result = try await Uhm().analyze(audioURL: url)
for f in result.fillers { print(f.start, f.end, f.type ?? .other) }
仕様
- 分解能
- 20 ms ごとに 1 回予測
- アプローチ
- 音響ベース、文字起こし不要
- 言語
- 英語、ES・FR・DE・NL へ転移
- プライバシー
- オンデバイスで動作。音声がデバイスの外に出ることはありません
FAQ
Uhm とは？
波形から直接「um」「uh」「hmm」などのフィラーを見つける、オンデバイスのフィラー検出。20 ミリ秒ごとに 1 回予測します。
Uhm はオンデバイスで動作しますか？
はい。Uhm は完全にオンデバイスで動作します。推論はローカルで行われ、サーバーへの通信は発生しないため、データがデバイスの外に出ることはありません。
Uhm はどのプラットフォームに対応していますか？
Uhm は Swift 向けのネイティブなオンデバイス SDK として提供されます。
Uhm の料金はいくらですか？
すべてのモデルは、SDK ごとに月間アクティブデバイス 100k 台まで無料です。ユーザーあたりの推論は無制限です。 カスタムライセンスについては、お問い合わせください。
Uhm の精度や速度はどれくらいですか？
音声を実時間の 296 倍で解析し、20 ms ごとに予測します。すべてオンデバイスです。