Desert Ant Labs

Clear:オンデバイスの音声強調、ノイズ除去、残響除去

音声強調提供中

ノイズの多い録音を、ポッドキャストに使える 48 kHz のファイルに変える、オンデバイスの音声強調。ノイズ除去、残響除去、ラウドネス正規化をすべてデバイス上で行います。

Clear は、ノイズの多いモノラルまたはステレオの音声(ノートパソコンのマイク、音響処理されていない部屋、交通音など)を受け取り、きれいな 48 kHz の結果を返します。ファインチューニングした DeepFilterNet 3 モデルがノイズ除去と残響除去を担い、オプションの処理でラウドネスを各プラットフォームの規格に正規化します。

AVFoundation が読み込めるあらゆる音声・動画ファイルに対応し、動画は元の映像と強調後の音声を多重化して返します。10 分のクリップは Apple シリコンで約 7 秒で処理されます。Clear は Adobe Podcast、Dolby、Auphonic のようなクラウドツールに代わるオンデバイスの選択肢です。音声がデバイスの外に出ることはなく、アップロードも分単位の課金もありません。多くのノイズ除去ツールが省く残響除去とポッドキャスト向けの仕上がりを、正面から扱います。

デモ

パフォーマンス

iPhone 17 Pro で 5 分のクリップを 3.7 秒で強調。実時間の 81 倍、すべてオンデバイスです。

81x
実時間比、モノラル
2-5 MB
オンデバイス
48 kHz
出力

Apple Neural Engine で 5 分のクリップを強調するのにかかる時間(社内計測)

デバイスモノラルステレオ
iPhone 17 Pro (A19 Pro)3.70 s · 81x5.16 s · 58x
iPhone 15 Pro (A17 Pro)4.88 s · 61x6.53 s · 46x

ユースケース

ポッドキャストと動画のマスタリング

ノートパソコンのマイクや音響処理されていない部屋での録音を整え、Apple Podcasts、Spotify、YouTube、EBU R128 に 1 回の処理で正規化します。

残響除去

ヒスノイズだけでなく、部屋の反響も取り除きます。多くのノイズ除去ツールが止まる残響除去の先へ、Clear は進みます。

高速でローカル

10 分のクリップをデバイス上で約 7 秒で処理します。アップロードも分単位の課金もありません。

音声メモと会議の録音

文字起こしやアーカイブの前に、ボイスメモや録音した通話の聞き取りやすさを高めます。

できること

  • ファインチューニングした DeepFilterNet 3 モデルによるノイズ除去と残響除去。
  • ラウドネスのプリセット:Apple Podcasts、Spotify、YouTube、EBU R128。
  • StrengthMastering のコントロール。
  • AVFoundation が読み込めるあらゆる音声・動画に対応。動画は強調後の音声を元の映像と多重化して返します。

プラットフォームとインストール

SwiftiOS, macOS
インストール
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/clear-swift", from: "0.1.0")
使用例
import Clear

let clear = try await Clear()
let result = try await clear.enhance(at: inputURL)
// result.outputPath: "in_clear.mp4"
KotlinAndroid
インストール
// build.gradle.kts (via JitPack)
implementation("com.github.Desert-Ant-Labs:clear-kotlin:0.1.0")
使用例
import ai.desertant.clear.Clear

val clear = Clear.create(context)
val result = clear.enhance(inputWavPath)
// result.outputPath: ".../<stem>_clear.wav"
JavaScript / TypeScriptWeb, Node.js
インストール
npm i @desert-ant-labs/clear
使用例
import { load, decodeToMono, encodeWav } from "@desert-ant-labs/clear";

const clear = await load({ variant: "studio" });
const { audio } = await clear.enhance(await decodeToMono(file));

仕様

出力
48 kHz、ノイズ除去・残響除去済み
速度
約 10 分のクリップを Apple シリコンで約 7 秒
モデル
ファインチューニングした DeepFilterNet 3
規格
LUFS / EBU R128 ラウドネス正規化

FAQ

Clear とは?

ノイズの多い録音を、ポッドキャストに使える 48 kHz のファイルに変える、オンデバイスの音声強調。ノイズ除去、残響除去、ラウドネス正規化をすべてデバイス上で行います。

Clear はオンデバイスで動作しますか?

はい。Clear は完全にオンデバイスで動作します。推論はローカルで行われ、サーバーへの通信は発生しないため、データがデバイスの外に出ることはありません。

Clear はどのプラットフォームに対応していますか?

Clear は Swift, Kotlin, JavaScript / TypeScript 向けのネイティブなオンデバイス SDK として提供されます。

Clear の料金はいくらですか?

すべてのモデルは、SDK ごとに月間アクティブデバイス 100k 台まで無料です。ユーザーあたりの推論は無制限です。 カスタムライセンスについては、お問い合わせください

Clear の精度や速度はどれくらいですか?

iPhone 17 Pro で 5 分のクリップを 3.7 秒で強調。実時間の 81 倍、すべてオンデバイスです。

リソース