想像一下，只需告訴您的車輛“我很著急”，它就會自動帶您走最有效的路線到達您需要去的地方。

普渡大學的工程師發現，自動駕駛汽車 (AV) 可以在 ChatGPT 或其他聊天機器人的幫助下做到這一點，這些聊天機器人是透過稱為大語言模型的人工智慧演算法實現的。

研究，出現在預印本伺服器上arXiv，將於 9 月 25 日在第27屆IEEE智慧交通系統國際會議。這可能是首批測試真實自動駕駛汽車如何使用大型語言模型來解釋乘客命令並相應駕駛的實驗之一。

領導這項研究的普渡大學萊爾斯土木與建築工程學院助理教授 Ziran Wang 認為，如果有一天車輛要實現完全自動駕駛，它們需要了解乘客發出的所有命令，即使是隱含的命令。例如，當您說您很趕時間時，計程車司機會知道您需要什麼，而無需指定司機應採取的路線以避免交通擁堵。

儘管今天的自動駕駛汽車具有允許您與它們交流的功能，但它們需要您比與人交談時更清晰。相較之下，大型語言模型可以以更人性化的方式解釋和給出回應，因為它們經過訓練可以從大量文字資料中提取關係並隨著時間的推移不斷學習。

「我們車輛中的傳統系統有一個使用者介面設計，你必須按下按鈕才能傳達你想要的訊息，或者一個音訊辨識系統，要求你說話時非常明確，這樣你的車輛才能理解你，」王說。“但是大型語言模型的力量在於它們可以更自然地理解你所說的各種內容。我認為任何其他現有系統都無法做到這一點。”

進行一種新的研究

在這項研究中，大型語言模型並沒有驅動自動駕駛汽車。相反，他們利用自動駕駛汽車的現有功能來協助自動駕駛汽車的駕駛。王和他的學生發現，透過整合這些模型，自動駕駛汽車不僅可以更好地了解乘客，還可以個性化駕駛以滿足乘客的滿意度。

在開始實驗之前，研究人員使用從更直接的命令（例如「請開快一點」）到更間接的命令（例如「我現在有點暈車」）的提示來訓練 ChatGPT。當 ChatGPT 學習如何回應這些命令時，研究人員為其提供了需要遵循的大型語言模型參數，要求其考慮交通規則，路況、天氣和車輛感測器檢測到的其他信息，例如攝影機和光檢測和測距。

然後，研究人員將這些大型語言模型透過雲端提供給實驗車輛SAE International 定義的四級自主權。第四級距業界認為的完全級別還差一個級別自動駕駛汽車。

當車輛的語音辨識系統在實驗過程中偵測到乘客發出的命令時，雲端中的大型語言模型會根據研究人員定義的參數來推理該指令。然後，這些模型為車輛的線控駕駛系統（連接到油門、煞車、齒輪和轉向系統）產生有關如何根據該命令進行駕駛的指令。

在一些實驗中，王的團隊還測試了他們安裝到系統中的記憶體模組，該模組允許大型語言模型儲存有關乘客歷史偏好的數據，並學習如何將它們納入對命令的回應中。

研究人員在印第安納州哥倫布市的一個試驗場進行了大部分實驗，該試驗場以前是機場跑道。這種環境使他們能夠安全地測試車輛在跑道上以高速公路速度行駛並處理雙向路口時對乘客命令的反應。他們還在普渡大學羅斯艾德體育場的停車場測試了車輛根據乘客指令停放的情況。

研究參與者使用大型語言模型學到的命令和乘坐車輛時新的命令。根據他們在騎行後的調查回饋，與人們在沒有大型語言模型幫助的情況下乘坐四級自動駕駛汽車時的感受數據相比，參與者對自動駕駛汽車所做的決定表示的不適率較低。

該團隊還將自動駕駛汽車的性能與根據人們平均認為安全舒適的乘坐數據創建的基線值進行了比較，例如車輛為避免追尾碰撞而做出反應的時間以及多快的速度。研究人員發現，本研究中的自動駕駛汽車在使用大型語言模型進行駕駛時，其性能優於所有基線值，即使是在響應模型尚未學習的命令時也是如此。

未來方向

Wang 表示，這項研究中的大型語言模型平均需要1.6 秒來處理乘客的命令，這在非時間關鍵場景中被認為是可以接受的，但在自動駕駛汽車需要更快響應的情況下應該進行改進。這是一個普遍影響大型語言模型的問題，業界和大學研究人員正在解決這個問題。

雖然不是本研究的重點，但眾所周知，像 ChatGPT 這樣的大型語言模型很容易產生“幻覺”，這意味著它們可能會誤解所學到的東西並以錯誤的方式做出反應。王的研究是在一個具有故障安全機制的設置中進行的，該機制允許參與者在大型語言模型誤解命令時安全騎行。這些模型在參與者整個騎行過程中的理解能力得到了提高，但幻覺仍然是汽車製造商考慮在自動駕駛汽車中實施大型語言模型之前必須解決的問題。

除了大學研究人員進行的研究之外，汽車製造商還需要使用大型語言模型進行更多測試。王說，將這些模型與自動駕駛汽車的控制裝置整合也需要獲得監管部門的批准，以便它們能夠實際駕駛車輛。

與此同時，王和他的學生正在繼續進行實驗，這可能有助於業界探索在自動駕駛汽車中添加大型語言模型。

自從他們的研究測試了 ChatGPT 以來，研究人員評估了其他基於大型語言模型的公共和私人聊天機器人，例如 Google 的 Gemini 和 Meta 的 Llama AI 助理系列。到目前為止，他們已經看到 ChatGPT 在自動駕駛汽車安全、高效乘坐的指標上表現最佳。公佈的結果即將發布。

下一步是看看每個自動駕駛汽車的大型語言模型是否可以相互對話，例如幫助自動駕駛汽車確定在四向停車時哪個應該先走。王的實驗室也正在啟動一個項目，研究如何使用大型視覺模型來幫助自動駕駛汽車在中西部地區常見的極端冬季天氣下行駛。這些模型就像大語言模型但訓練的是圖像而不是文字。更多資訊：