Apple Silicon専用AI話者分離・文字起こしアプリ「FFTrans」の最新エンジン「parakeet_mlx」使用バージョン「FFTrans Parakeet」をリリースしました。
mlx-whisperも十分高速でしたが、文字起こし単体でいうとその3倍以上の速度を誇るparakeet_mlxを文字起こしエンジンに採用しています。
アプリトータルでの処理でも、70分の動画を4分強(従来:12分程度)、6分の動画は30秒で話者分離を含めた文字起こしが完了します。( Mac Studio M2 Maxで計測)
精度に関してもmlx-whipserのlarge-V3と同等以上という評価もありますが、私が検証した感じでは英語専用のparakeet-tdt-0.6b-v2ならやや劣る印象です。
今回のアプリではさらに新しいparakeet-tdt-0.6b-v3を使っていますので、純粋な英語の精度はほぼ同等になっています。
ただ、英語とヨーロッパ系言語、合わせて25言語に対応してるせいもあって、話者がネイティブじゃなかったり、発音が悪いとドイツ語やキリル文字が混じったりする傾向が結構ありますが、そこは多言語対応を取る形としました。
parakeetには検出した言語を返す機能がないので、特定の言語を指定しての文字起こしができないのが欠点ではあります。
それでも、AppleイベントでのAirPods Pro 3を使ったライブ翻訳の様子あたりはポルトガル語と翻訳された英語がちゃんと出ていて、多言語対応のメリットがちゃんと出ています。
143
00:08:06,908 –> 00:08:07,580
Speaker 1: Com certeza.144
00:08:07,580 –> 00:08:09,262
Speaker 1: O cliente vai adorar ver isso.145
00:08:09,262 –> 00:08:09,878
Air Pods: Definitely.146
00:08:10,266 –> 00:08:11,717
Air Pods: The client will love that.
なお、日本語対応モデルのmlx-community/parakeet-tdt_ctc-0.6b-jaもありますが、こちらは句読点がおかしかったり、ひらがな率が高めだったりとまだちょっと実用には厳しい部分があり、現時点では見送っています。
そちらはカスタム辞書や句読点補完機能を装備し、mlx-whiperを使った有料版のFFTrans Proをご利用ください。
ただ、FFTrans Parakeetは商用利用も含め、完全無料で制限も一切ありません。
以下の機能がフルで制限なく使えます。
・話者分離と話者特徴量保存による次回以降の自動名前設定
・3種類のハルシネーション除外フィルター
・FFmpeg排除によるダウンサンプリング精度の向上
・Entitlemetsによるアプリのネットワークアクセス完全遮断
メモリについても8GBで動作し、Mac mini M1やMacBook Air M3の8GBメモリでも動作確認済みです。
ただし、処理速度は以下のようにマシンやメモリ搭載量による処理はあります。
Mac Studio M2 Max 32GB : 30秒
MacBook Air M3 8GB : 50秒程度
Mac mini M1 8GB : 1分20秒
(いずれも6分弱の動画)
さらに文字起こしをスレッド処理からプロセス処理に変更し、終了時にプロセスごと終了させることで確実にメモリを解放しています。
これにより、TimeMachine稼働中に70分の動画を文字起こししても安定して動作しますし、最新のmacOS 26 Tahoeでも動作確認済みです。
ちなみに前回、体験版とProとの性能差が大き過ぎて廃止しましたが、無料版のFFTrans Freeも同じ状態になってしまいました。
そこでFFTrans Freeも今月いっぱいで廃止することとさせていただきます。
Parakeetなら文字起こし時間の制限もありませんし、商用利用もできますから、体験はこちらで実施いただければ幸いです。
日本語対応については反響によって考えたいと思っています。
[ 免責事項 ]
音声認識の精度は、録音品質や環境によって異なる場合があります。
作者は、本アプリケーションの使用に起因するいかなる損害についても責任を負いません。
本アプリケーションは、なんらの予告なく変更、配布の中止をすることがあります。