時雨堂さんが提供してくれているDTLN-aecを用いて、ダブルトークキャンセル同時通訳を作ってみました。
ライブラリが要求する音声形式が結構シビアなのでちょっと苦労しました。
マイク入力した日本語を英語に翻訳し、スピーカーから音声合成した英語が流れるものです。
かなり爆音でスピーカーから合成音声を流していても、その最中に喋った声もちゃんと音声認識してくれます。
これでパソコン以外でも動作してくれたら完璧なんですが、スマホではWeb Audio API等の制約で動作しません。
ブラウザも基本的にはChrome系限定です。
ただネイティブアプリで組めば本元のDTLN-aecが使えるのでスマホでも実現可能ではあります。
CPU負荷はそれなりに大きいので、小さめのモデルを使う必要があるかもしれませんが。
デモは翻訳ですが、受付システムや同室内でのビデオ会議のハウリング対策などにも応用可能かと思います。