CoreML対応の軽量版、オフライン、話者分離・長時間対応文字起こしアプリ「FFTrans Neu」ですが、バージョンアップして1.7.0をリリースいたしました。
1.7.0で追加した内容は以下の通りです。
[ Version 1.7.0 ]
・文字起こしモデルとして「量子化モデル」に加えて「高精度モデル」を選択可能に
・文字起こし対象ファイルにCAFとAACを追加。M4Aの漏れも修正
・ライセンスファイル選択でdatファイルのみを選択可能に修正
1.6.0で打ち止めかなと思ったのですが、ノイズが多めだったり、背後にBGMが入っている音声で言語識別を間違えたり、認識精度が落ちる現象が確認できたので、やはり「高精度モデル」も必要かなということになりました。
前回と同じ事例でProとNeuの量子化モデル(従来)、1.7.0で追加された高精度モデルの精度を比較してみましょう。
[ FFTrans Pro ]
32
00:02:15,385 –> 00:02:20,898
波瑠: 花村薫というキャラクターは訳あって会社を辞めてしまった。
33
00:02:20,898 –> 00:02:23,063
波瑠: 元バリキャリーの女性で
34
00:02:23,063 –> 00:02:33,385
波瑠: 退就職先を探している最中に縁があって、偽物の受験用のママをすることになるんですけど。
35
00:02:33,385 –> 00:02:39,837
波瑠: お勉強ができて仕事もできるけど、どこか不器用なキャラクターなんじゃないかなと思っています。
[ 量子化モデル(Neu従来) ]
20
00:02:14,332 –> 00:02:19,992
波瑠: 花村薫というキャラクターは分け合って会社を。
21
00:02:19,992 –> 00:02:23,032
波瑠: を辞めてしまった元バリキャリの女性で。
22
00:02:23,032 –> 00:02:28,212
波瑠: 再就職先を探している最中に縁があって。
23
00:02:30,000 –> 00:02:40,432
波瑠: 偽物の受験用のままをすることになるんですけどお勉強ができて仕事もできるけどどこか不器用なキャラクターなんじゃないかなと思ってます。
[ 高精度モデル ]
20
00:02:14,332 –> 00:02:19,992
波瑠: 花村薫というキャラクターは訳あって会社を。
21
00:02:19,992 –> 00:02:23,032
波瑠: やめてしまった元バリキャリーの女性で。
22
00:02:23,032 –> 00:02:28,212
波瑠: 再就職先を探している最中に縁があって。
23
00:02:30,000 –> 00:02:39,938
波瑠: 偽物の受験用のママをすることになるんですけどお勉強ができて仕事もできるけどどこか不器用なキャラクターなんじゃないかなと思っています。
派手な部分はありませんけど、地味に誤認識が減って、Proと量子化モデルの中間くらいにはなっています。
ただトレードオフも当然ありまして、文字起こし時間がやはりだいぶ遅くなりますし、メモリ消費も多くなります。
量子化モデルではNeuの文字起こし中も1GB強くらいしかメモリ消費が増えませんが、高精度モデルだと3GBくらい増加し、OS全体としては7GBくらいになるので、8GBのマシンだとだいぶ厳しいです。
速度面でも6分動画で量子化モデルで文字起こしした場合、M3で41秒、M2 Maxで47.6秒ほどだったものが、高精度モデルではM3で126秒、M2Maxで141秒と大幅に遅くなります。
GPU併用で高速化することも考えましたが、それではNeuの理念に反しますし、サーマルスロットリングが起きたら長時間音声で速度低下を起こしかねないですので、あくまでもANEでの処理としました。
おかげで消費電力は高精度モデルでも変動はあるものの、8.8W程度(量子化モデルは7.7W程度)で済みます。
なお、体験版では「高精度モデル」は選択できません。
あと地味にCAFファイルを文字起こし対象に追加してあります。
WebMに対応したかったのですが意外と面倒で、代わりに「ロスレス音声抽出」という便利な無料アプリを見つけまして、これでWebMから音声抽出するとCAFファイルが取り出せるので、個人的にこれで代替したいなと。
アクションから実行可能なのでFFTrans Neuに限らず、とても便利なアプリケーションだと思います。
さすがにこれでFFTrans Neuは一段落の予定です。
新しもの好きのダウンロードさんのご紹介ページに先着10名様の特別割引クーポンも置いてありますので、高精度モデルをお試しになりたい方はぜひご検討いただければ幸いです。