CISPA 亥姆霍茲資訊安全中心實證研究支援 (ERS) 的一個研究團隊對最受歡迎的轉錄服務進行了系統比較。此次比較涉及 11 家手動轉錄和人工智慧轉錄提供者。

這表明，儘管品質很好，但後者仍然存在說話者歸屬問題，並且錄音與錄音之間存在差異。轉錄這扭曲了意義。OpenAI 的 Whisper AI 在人工智慧供應商中取得了最佳成績。

訪談是一種流行的蒐集方法科學數據。定量訪談和定性訪談之間存在基本差異。前者旨在藉助標準化問卷從大量參與者那裡獲取統計上可用的信息，而後者旨在獲取可供研究人員解釋的訪談數據。

一種特殊類型是引導式訪談，其中有一份準備好的問題清單，但在面試過程中可能會有所不同。面試。CISPA 實證研究支援 (ERS) 團隊的社會學家 Rafael Mrowczynski 博士解釋說：“在網路安全研究中，這些訪談用於探索透過數位方式操作的行為者的行動模式和解釋。”ERS 團隊就方法問題向該中心的研究人員提供建議。

將音訊檔案轉換為文字

轉錄是定性資料分析的關鍵步驟。「標準程序是將訪談錄音轉換為文字。轉錄的充分性對於資料品質非常重要，」Mrowczynski 解釋道。根據科學領域的不同，轉錄有不同的標準。

「在網路安全研究Mrowczynski 說：「我們通常使用精確再現對話內容的筆錄。因此，一份足夠的筆錄只包含相關的口語單字。研究人員可以透過兩種方式取得筆錄：要麼由研究團隊創建本身，或者任務外包給第三方提供者。

在第三方提供者中，除了手動轉錄之外，最近還對基於人工智慧的自動化轉錄進行了真正的炒作。這是由於過去兩年人工智慧應用在許多領域經歷了指數級飛躍的發展和品質。

CISPA ERS ​​團隊的研究人員想知道市場上哪家提供者能夠實現最佳結果，以及基於人工智慧的自動化轉錄與手動轉錄相比效果如何。目標是能夠為 CISPA 和網路安全社群的研究人員提供定性訪談的建議。

ERS 團隊的方法

對於他們的研究項目，Mrowczynski 和他的同事 Maria Hellenthal 博士、Rudolf Siegel 博士和 Michael Schilling 博士創建了一個測試資料集。這包括持續約十分鐘的個人訪談以及與 CISPA 研究人員用德語和英語進行的小組討論。內容重點在於網路安全研究領域。

「重要的是，要包含來自社區的技術術語，以便評估轉錄的準確性，」Mrowczynski 解釋道。為了更能反映日常研究中的真實環境，一些訪談也加上了背景噪音。

這些資料於 2022 年 12 月發送給 11 家供應商。 OpenAI 的Whisper。

為了評估所獲得的轉錄本，Mrowczynski 和他的同事創建了一份參考轉錄本，作為比較分析的基礎。然後分析本身集中於兩個中心標準。首先，研究人員評估了單字錯誤率，它表明轉錄本與參考轉錄本有多少單字不同。其次，與參考轉錄本的定性偏差是手動編碼的。

手動轉錄服務擊敗人工智慧

Mrowczynski 和他的同事在論文中得出的結論是，總的來說，「大多數手動轉錄服務都達到了值得稱讚的表現水平，而基於人工智慧的服務往往會在記錄和轉錄之間表現出扭曲意義的差異。

從技術術語可以清楚看出意義的扭曲；Mrowczynski 解釋說：“例如，在文字記錄中，‘哈希’一詞變成了‘灰燼’。”這就是我們想出這篇論文標題的方式。

OpenAI 的 Whisper 在基於 AI 的供應商中取得了最佳成績。大多數提供者對英語的處理比對德語的處理更好。三個提供者根本不提供德語轉錄服務。背景噪音通常會對結果產生負面影響。基於人工智慧的提供者在演講者分配方面尤其存在問題。

此外，人工智慧創建的記錄必須重新格式化，然後才能在軟體中進一步處理它們以進行定性資料分析。然而，研究人員指出，他們的分析反映了截至 2022 年 12 月的最新技術水平，無法考慮當前的發展。

該研究是提出在 2023 年 CCS ACM 電腦和通訊安全會議上。

更多資訊：Rudolf Siegel 等人，海報：從哈希到灰燼 - 轉錄服務比較，2023 年 ACM SIGSAC 電腦與通訊安全會議論文集（2023）。DOI：10.1145/3576915.3624380

提供者：CISPA 亥姆霍茲資安中心