Desert Ant Labs
Uhm：面向音频和视频的设备端语气词检测
设备端语气词检测，直接从波形中找出「um」「uh」「hmm」等语气词，每20毫秒给出一次预测。
Uhm是一个帧级精度的分类器，直接在音频中找出语气词，每20毫秒给出一次预测。它读取波形，因此无需先跑一遍转写，而转写正是查找语流不畅通常要付出的代价。
它在英语上训练，并可在声学层面迁移到西班牙语、法语、德语和荷兰语，无需重新训练。转写甚至帮不上忙：像Whisper这样的模型会把语气词从输出中略去，因此这些「um」根本不会出现在文本里供人查找或删除。Uhm分析音频并在设备上检测它们，无需上传，也没有按分钟计费。
演示
性能
以296倍实时速度扫描音频，全部在设备上完成，每20毫秒一次预测。
296x
实时倍率
20 ms
帧分辨率
<50 MB
设备端
实时倍率（音频时长除以分析时间），fp16 Core ML，热启动（内部数据）
| 设备 | 实时倍率 |
|---|---|
| iPhone 17 Pro | ~296x |
| iPad Pro (M4) | ~279x |
| iPhone 15 Pro | ~169x |
内部基准测试。在英语上训练；可在声学层面迁移到西班牙语、法语、德语和荷兰语。
应用场景
播客与视频剪辑
定位每一个语气词以便删除或精简，无需先跑一遍转写。
转写清理
在声学层面标出语流不畅之处，让下游的转写读起来更干净。
没有按分钟计费
在设备上检测语气词，无需把WhisperX加正则表达式拼在一起，也无需为云端语音转文字按分钟付费。
口语反馈
测量录音中语气词的出现频率，用于练习和辅导类工具。
功能
- 帧级精度：每20毫秒一次预测。
- 声学检测：直接作用于波形，无需转写。
Bias预设：精确、平衡或召回。- 在英语上训练，无需重新训练即可迁移到西班牙语、法语、德语和荷兰语。
平台与安装
SwiftiOS, macOS
安装
// Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/uhm-swift", from: "0.1.0")
示例
import Uhm
let result = try await Uhm().analyze(audioURL: url)
for f in result.fillers { print(f.start, f.end, f.type ?? .other) }
Kotlin即将推出
JavaScript / TypeScript即将推出
规格
- 分辨率
- 每20毫秒一次预测
- 方法
- 声学检测，无需转写
- 语言
- 英语，可迁移到ES、FR、DE、NL
- 隐私
- 在设备上运行；音频不会离开设备
常见问题
Uhm是什么？
设备端语气词检测，直接从波形中找出「um」「uh」「hmm」等语气词，每20毫秒给出一次预测。
Uhm在设备上运行吗？
是的。Uhm完全在设备上运行：推理在本地完成，不调用任何服务器，因此数据不会离开设备。
Uhm支持哪些平台？
Uhm以原生设备端SDK的形式提供，支持Swift。
Uhm的价格是多少？
每个模型的每个SDK均可免费支持最多10万台月活跃设备。每位用户可无限次推理。 如需定制授权，请联系我们。
Uhm的准确度和速度如何？
以296倍实时速度扫描音频，全部在设备上完成，每20毫秒一次预测。