日を追うごとに、インターネット上で見聞きするものを信頼することが難しくなっているように思えます。ディープフェイクや加工された音声は、ボタンを押すだけで簡単に作成できるようになりました。情報学部の学生と卒業生3名による新しい研究により、音声クリップの信頼性を簡単に判断できるようになります。

Romit Barua、Gautham Koorma、Sarah Barrington (いずれも MIMS '23) は、情報管理およびシステム修士学位プログラムの最終プロジェクトとして、音声クローンに関する研究を最初に発表しました。バリントンは現在博士号を取得しています。Iスクールの生徒。

ハニー・ファリド教授と協力して、チームは本物の声と、特定の人物になりすますように設計されたクローンの声を区別するためのさまざまな手法を検討しました。

「2022年の初春にこのチームが最初に私に連絡をくれたとき、私は彼らにディープフェイクについて心配する必要はないと言いました。オーディオというのは、音声クローンの作成があまり良くなく、それについて心配しなければならないようになるまでにはしばらく時間がかかるからです。私は間違っていましたが、数か月後、AI を活用した音声クローン作成が驚くほど優れており、この技術がどれほど速く進化しているかを明らかにしました」とファリド教授は述べました。ディープフェイク音声の。」

まず、チームは視覚的に識別できる知覚的特徴やパターンを調べることにより、本物の声と偽の声のオーディオ サンプルを分析しました。このレンズを通して、彼らはオーディオの波を観察することに焦点を当て、実際の人間の声には多くの場合、クリップ全体でより多くの休止期間があり、音量が変化していることに気づきました。これは、人々はつなぎ言葉を使用する傾向があり、録音中にマイクから離れたり移動したりする可能性があるためです。

これらの特徴を分析することで、チームは、音声の信頼性を判断する際に探すべき重要な要素として、休止と振幅 (音声の一貫性と変動) を正確に特定することができました。ただし、この方法は理解しやすいものの、結果の精度が低い可能性があることもわかりました。

次に、チームはより詳細なアプローチを採用し、「既製の」音声波形分析パッケージを使用して一般的なスペクトル特徴を調べました。このプログラムは、概要統計 (平均値、標準偏差、など)、回帰係数などを考慮してから、数を最も重要な 20 個に減らします。これらの抽出された特徴を分析し、他のオーディオ クリップと比較することにより、Barrington、Barua、Koorma はこれらの特徴を利用してより正確な手法を作成しました。

ただし、最も正確な結果は、深層学習モデルのトレーニングを含む学習された特徴で得られました。これを行うために、チームは生のオーディオをモデルにフィードし、そこからエンベディングと呼ばれる多次元表現を処理して抽出します。モデルが生成されると、これらの埋め込みを使用して実際のオーディオと合成オーディオを区別します。

この方法は、精度の点で以前の 2 つの手法を常に上回っており、ラボ設定ではわずか 0% の誤差を記録しています。高い精度にもかかわらず、研究チームは、この方法は適切な文脈がなければ理解するのが難しい可能性があると指摘しています。

研究チームは、この研究が、使用に関して増大する懸念に対処できる可能性があると信じています。声悪意のある目的のためのクローン作成やディープフェイク。「音声クローン作成は、銀行の生体認証を回避するためや、家族に電話してお金を要求するためなど、現実世界で利用できるディープフェイクを目撃した最初の例の1つです」とバリントン氏は説明した。