CoreML対応の軽量版、オフライン、話者分離・長時間対応文字起こしアプリ「FFTrans Neu」は、Tahoeから登場した新しいApple純正の文字起こしエンジン「SpeechAnalyzer」に対応して2.0.0となりました。
2.0.0、1.8.0で追加した内容は以下の通りです。
[ Version 2.0.0 ]
Appleの文字起こしモデル(speechAnalyzer)に対応
[ Version 1.8.0 ]
「単一言語で文字起こし」する際に言語を手動指定できるように
音声コンテナが一部破損している場合、AVAssetReader/Writerにフォールバックする処理を追加
2.0.0で搭載したAppleモデルは、従来の量子モデルと比べて2倍以上の文字起こし速度を実現しています。
・Appleモデル(高速) : 16秒
・量子化モデル（推奨）：38秒
・高精度モデル：2分02秒
(いずれも6分動画、言語識別あり。MacBook Air M4にて計測)
SpeechAnalyzerには言語識別の機能がなく、通常は事前に言語を手動指定する必要があるのですが、音声の先頭発話を量子化モデルを使って検出して多数決処理で決定することで、これまで通りの使い勝手を継承しています。
1.8.0で言語の手動指定も可能にしてあるので、これで言語をあらかじめ指定すれば12.8秒とさらなる爆速を実現できます。
ただ、間違った言語を指定すると結果がおかしくなるばかりか、処理も遅くなったりするので自動識別をお勧めします。
また多言語混じりの音声では常に言語識別が継続される形になるので、精度も含めて量子化モデルのほうが有利になる面もあるかと思います。
では、実際の文字起こし結果も比較してみましょう。
[ Appleモデル ]
周辺ではこんな現象も。
子供の増加のスピードが想像以上に早い。
学校の教室が足りない。
去年4月に開校した小中学校は生徒数が合わせて1500人を超えているといいます。
今後さらに増える見込みで新興社を建設予定です。
[ 量子化モデル ]
周辺ではこんな現象も。
子供の増加のスピードが想像以上に速い。
学校の教室が足りない。
去年4月に開校した小中学校は生徒数が合わせて1500人を超えているといいます。
今後さらに増える見込みで新校舎を建設予定です。
[ 高精度モデル ]
周辺ではこんな現象も。
子供の増加のスピードが想像以上に速い。
学校の教室が足りない。
去年4月に開校した小中学校は生徒数が合わせて1500人を超えているといいます。
今後さらに増える見込みで新校舎を建設予定です。
Appleモデルと量子化モデルでは多少の差はありますが、カスタム辞書を未登録の状態ですので、たとえば上記であれば「新校舎」を単語登録すれば同等にできるはずです。
もちろん、Appleモデルでも話者分離・記憶、カスタム辞書はそのままお使いいただけますし、言語識別も精度を重視した量子化モデル、高精度モデルもこれまで通り設定画面より選択してご利用いただけます。
なお、従来バージョンから継続してご利用の方はこれまでの設定が継承されていますので、Appleモデルをお試しになる場合、設定画面よりモデルを切り替えてお試しください。
モデルの再ダウンロードは不要です。
2.0.0でも永久ライセンスはもちろんそのままご利用いただけます。
メモリ消費についてもAppleモデルは純正だけあって、8GBマシンでも問題なく動作します。
ただ、ここの制御はApple任せですのでマシン性能に応じてCPUも少し多めに使用する傾向はあるようです。
2.0.0から今回の「Appleモデル」をデフォルトとし、体験版ではモデルの切り替えは不可となっています。
またファイル保存もできませんので、体感いただいた上でご購入をご検討いただければ幸いです。
さらに細かい部分ではありますが、ストリーミング動画などで音声コンテナが一部破損・分裂している場合に最後まで音声が取り出せないことがありましたので、そうした動画ファイルではAVAssetReader/Writerにフォールバックする処理を追加して、しっかり取り出せるように対処してあります。
Zoomやライブストリーミングなどの文字起こしでは稀にそうしたファイルになることがあるようです。
FFTrans Neuも新境地を迎え、これで一段落の予定です。
今後はAppleエンジンを活用してリアルタイム翻訳HUDの「FFTrans HUD」の開発を進めていく予定です。
新しもの好きのダウンロードさんのご紹介ページに先着10名様の特別割引クーポンもまだ残りがございますので、お試しになりたい方はお早めにご検討いただければ幸いです。