儘管大型語言模型的功能令人印象深刻，但它還遠非完美。這些人工智慧模型有時會因回應查詢而產生不正確或不受支援的資訊來「產生幻覺」。

由於這種幻覺問題，法學碩士的回答通常由人類事實檢查員驗證，特別是當模型部署在醫療保健或金融等高風險環境中時。然而，驗證過程通常要求人們閱讀模型引用的長文檔，這項任務非常繁重且容易出錯，可能會阻止一些用戶首先部署生成式人工智慧模型。

為了幫助人類驗證者，麻省理工學院的研究人員創建了一個使用者友善的系統，使人們能夠更快地驗證法學碩士的答案。借助這個名為 SymGen 的工具，法學碩士可以產生帶有直接指向來源文件中的位置（例如資料庫中給定單元格）的引用的回應。

使用者將滑鼠懸停在其文字回應的突出顯示部分上，即可查看模型用於產生特定單字或短語的資料。同時，未反白的部分向使用者展示哪些短語需要額外注意檢查和驗證。

“我們讓人們能夠有選擇地關注他們需要更擔心的文本部分。最終，SymGen 可以讓人們對模型的響應更有信心，因為他們可以輕鬆地仔細查看以確保信息是正確的。已驗證”，Shannon Shen 說電機工程計算機科學研究生和 SymGen 論文的共同主要作者，該論文是發表於arXiv預印本伺服器。

透過使用者研究，Shen 和他的合作者發現，與手動程式相比，SymGen 將驗證時間加快了約 20%。透過讓人類更快、更輕鬆地驗證模型輸出，SymGen 可以幫助人們識別在各種現實情況下部署的法學碩士中的錯誤，從產生臨床記錄到總結金融市場報告。

Shen 與共同主要作者、EECS 研究生 Lucas Torroba Hennigen 共同撰寫了這篇論文；EECS 研究生 Aniruddha "Ani" Nrusimha；Bernhard Gapp，良好數據倡議主席；資深作者 David Sontag，EECS 教授、MIT Jameel Clinic 成員、電腦科學與人工智慧實驗室 (CSAIL) 臨床機器學習組組長；Yoon Kim，EECS 助理教授，CSAIL 成員。該研究最近在語言建模會議上發表。

象徵性參考

為了幫助驗證，許多法學碩士被設計為生成引文，這些引文指向外部文件以及基於語言的回應，以便使用者可以檢查它們。然而，這些驗證系統通常是事後才設計的，沒有考慮到人們篩選大量引用所需付出的努力，沉說。

「生成式人工智慧的目的是減少使用者完成任務的時間。如果你需要花幾個小時閱讀所有這些文件來驗證模型所說的內容是否合理，那麼將幾代人付諸實踐就沒那麼有幫助了，」沉說。

研究人員從執行這項工作的人的角度來解決驗證問題。

SymGen 用戶首先向 LLM 提供可在其回應中引用的數據，例如包含籃球比賽統計數據的表格。然後，研究人員不會立即要求模型完成任務，例如根據這些數據產生遊戲摘要，而是執行中間步驟。它們提示模型以符號形式產生響應。

有了此提示，每次模型想要在其回應中引用單字時，它都必須寫入資料表中包含其引用資訊的特定單元格。例如，如果模型想要在回應中引用短語“波特蘭開拓者”，它會將該文字替換為資料表中包含這些單字的儲存格名稱。

“因為我們有這個中間步驟，其中文本採用符號格式，所以我們能夠擁有真正細粒度的引用。我們可以說，對於輸出中的每個文本範圍，這正是它對應的數據中的位置到，”亨尼根說。

然後，SymGen 使用基於規則的工具解析每個引用，該工具將相應的文字從資料表複製到模型的回應中。

「透過這種方式，我們知道它是逐字副本，因此我們知道與實際資料變數相對應的文字部分不會有任何錯誤，」沈補充道。

簡化驗證

由於模型的訓練方式，該模型可以創建符號響應。大型語言模型從互聯網上獲取大量數據，一些數據以“佔位符格式”記錄，其中代碼替換實際值。

當 SymGen 提示模型產生符號響應時，它使用類似的結構。「我們以特定的方式設計提示，以利用法學碩士的能力，」沈補充道。

在一項使用者研究中，大多數參與者表示 SymGen 讓驗證 LLM 產生的文字變得更加容易。他們驗證模型響應的速度比使用標準方法快約 20%。

然而，SymGen 受到來源資料品質的限制。法學碩士可能會引用不正確的變量，而人類驗證者可能對此一無所知。此外，使用者必須擁有結構化格式（如表格）的來源資料才能輸入 SymGen。目前，該系統僅適用於表格資料。

展望未來，研究人員正在增強 SymGen，使其能夠處理任意文字和其他形式的資料。例如，借助這種功能，它可以幫助驗證人工智慧產生的法律文件摘要的部分內容。他們還計劃與醫生一起測試 SymGen，研究它如何識別人工智慧生成的臨床摘要中的錯誤。

這個故事由麻省理工學院新聞轉載（web.mit.edu/新聞辦公室/），一個熱門網站，涵蓋有關麻省理工學院研究、創新和教學的新聞。