想象一下，只需告诉您的车辆“我很着急”，它就会自动带您走最有效的路线到达您需要去的地方。

普渡大学的工程师发现，自动驾驶汽车 (AV) 可以在 ChatGPT 或其他聊天机器人的帮助下做到这一点，这些聊天机器人是通过称为大语言模型的人工智能算法实现的。

研究，出现在预印本服务器上arXiv，将于 9 月 25 日在第27届IEEE智能交通系统国际会议。这可能是首批测试真实自动驾驶汽车如何使用大型语言模型来解释乘客命令并相应驾驶的实验之一。

领导这项研究的普渡大学莱尔斯土木与建筑工程学院助理教授 Ziran Wang 认为，如果有一天车辆要实现完全自动驾驶，它们需要了解乘客发出的所有命令，即使是隐含的命令。例如，当您说您很赶时间时，出租车司机会知道您需要什么，而无需指定司机应采取的路线以避免交通拥堵。

尽管今天的自动驾驶汽车具有允许您与它们交流的功能，但它们需要您比与人交谈时更清晰。相比之下，大型语言模型可以以更人性化的方式解释和给出响应，因为它们经过训练可以从大量文本数据中提取关系并随着时间的推移不断学习。

“我们车辆中的传统系统有一个用户界面设计，你必须按下按钮才能传达你想要的信息，或者一个音频识别系统，要求你说话时非常明确，这样你的车辆才能理解你，”王说。“但是大型语言模型的力量在于它们可以更自然地理解你所说的各种内容。我认为任何其他现有系统都无法做到这一点。”

进行一种新的研究

在这项研究中，大型语言模型并没有驱动自动驾驶汽车。相反，他们利用自动驾驶汽车的现有功能来协助自动驾驶汽车的驾驶。王和他的学生发现，通过整合这些模型，自动驾驶汽车不仅可以更好地了解乘客，还可以个性化驾驶以满足乘客的满意度。

在开始实验之前，研究人员使用从更直接的命令（例如“请开快点”）到更间接的命令（例如“我现在有点晕车”）的提示来训练 ChatGPT。当 ChatGPT 学习如何响应这些命令时，研究人员为其提供了需要遵循的大型语言模型参数，要求其考虑交通规则，路况、天气和车辆传感器检测到的其他信息，例如摄像头和光检测和测距。

然后，研究人员将这些大型语言模型通过云提供给实验车辆SAE International 定义的四级自主权。第四级距业界认为的完全级别还差一个级别自动驾驶汽车。

当车辆的语音识别系统在实验过程中检测到乘客发出的命令时，云中的大型语言模型会根据研究人员定义的参数来推理该命令。然后，这些模型为车辆的线控驾驶系统（连接到油门、制动器、齿轮和转向系统）生成有关如何根据该命令进行驾驶的指令。

在一些实验中，王的团队还测试了他们安装到系统中的内存模块，该模块允许大型语言模型存储有关乘客历史偏好的数据，并学习如何将它们纳入对命令的响应中。

研究人员在印第安纳州哥伦布市的一个试验场进行了大部分实验，该试验场以前是机场跑道。这种环境使他们能够安全地测试车辆在跑道上以高速公路速度行驶并处理双向路口时对乘客命令的响应。他们还在普渡大学罗斯艾德体育场的停车场测试了车辆根据乘客指令停放的情况。

研究参与者使用大型语言模型学到的命令和乘坐车辆时新的命令。根据他们在骑行后的调查反馈，与人们在没有大型语言模型帮助的情况下乘坐四级自动驾驶汽车时的感受数据相比，参与者对自动驾驶汽车所做的决定表示的不适率较低。

该团队还将自动驾驶汽车的性能与根据人们平均认为安全舒适的乘坐数据创建的基线值进行了比较，例如车辆为避免追尾碰撞而做出反应的时间以及多快的速度。车辆加速和减速。研究人员发现，本研究中的自动驾驶汽车在使用大型语言模型进行驾驶时，其性能优于所有基线值，即使是在响应模型尚未学习的命令时也是如此。

未来方向

Wang 表示，这项研究中的大型语言模型平均需要 1.6 秒来处理乘客的命令，这在非时间关键场景中被认为是可以接受的，但在自动驾驶汽车需要更快响应的情况下应该进行改进。这是一个普遍影响大型语言模型的问题，业界和大学研究人员正在解决这个问题。

虽然不是本研究的重点，但众所周知，像 ChatGPT 这样的大型语言模型很容易产生“幻觉”，这意味着它们可能会误解所学到的东西并以错误的方式做出反应。王的研究是在一个具有故障安全机制的设置中进行的，该机制允许参与者在大型语言模型误解命令时安全骑行。这些模型在参与者整个骑行过程中的理解能力得到了提高，但幻觉仍然是汽车制造商考虑在自动驾驶汽车中实施大型语言模型之前必须解决的一个问题。

除了大学研究人员进行的研究之外，汽车制造商还需要使用大型语言模型进行更多测试。王说，将这些模型与自动驾驶汽车的控制装置集成还需要获得监管部门的批准，以便它们能够实际驾驶车辆。

与此同时，王和他的学生正在继续进行实验，这可能有助于业界探索在自动驾驶汽车中添加大型语言模型。

自从他们的研究测试了 ChatGPT 以来，研究人员评估了其他基于大型语言模型的公共和私人聊天机器人，例如 Google 的 Gemini 和 Meta 的 Llama AI 助手系列。到目前为止，他们已经看到 ChatGPT 在自动驾驶汽车安全、高效乘坐的指标上表现最好。公布的结果即将发布。

下一步是看看每个自动驾驶汽车的大型语言模型是否可以相互对话，例如帮助自动驾驶汽车确定在四向停车时哪个应该先走。王的实验室还正在启动一个项目，研究如何使用大型视觉模型来帮助自动驾驶汽车在中西部地区常见的极端冬季天气下行驶。这些模型就像大语言模型但训练的是图像而不是文本。更多信息：