尽管大型语言模型的功能令人印象深刻，但它还远非完美。这些人工智能模型有时会因响应查询而生成不正确或不受支持的信息来“产生幻觉”。

由于这种幻觉问题，法学硕士的回答通常由人类事实检查员验证，特别是当模型部署在医疗保健或金融等高风险环境中时。然而，验证过程通常要求人们阅读模型引用的长文档，这项任务非常繁重且容易出错，可能会阻止一些用户首先部署生成式人工智能模型。

为了帮助人类验证者，麻省理工学院的研究人员创建了一个用户友好的系统，使人们能够更快地验证法学硕士的回答。借助这个名为 SymGen 的工具，法学硕士可以生成带有直接指向源文档中的位置（例如数据库中给定单元格）的引用的回复。

用户将鼠标悬停在其文本响应的突出显示部分上，即可查看模型用于生成特定单词或短语的数据。同时，未突出显示的部分向用户展示哪些短语需要额外注意检查和验证。

“我们让人们能够有选择地关注他们需要更担心的文本部分。最终，SymGen 可以让人们对模型的响应更有信心，因为他们可以轻松地仔细查看以确保信息是正确的。已验证”，Shannon Shen 说电气工程计算机科学研究生和 SymGen 论文的共同主要作者，该论文是发表于arXiv预印本服务器。

通过用户研究，Shen 和他的合作者发现，与手动程序相比，SymGen 将验证时间加快了约 20%。通过让人类更快、更轻松地验证模型输出，SymGen 可以帮助人们识别在各种现实情况下部署的法学硕士中的错误，从生成临床记录到总结金融市场报告。

Shen 与共同主要作者、EECS 研究生 Lucas Torroba Hennigen 共同撰写了这篇论文；EECS 研究生 Aniruddha "Ani" Nrusimha；Bernhard Gapp，良好数据倡议主席；资深作者 David Sontag，EECS 教授、MIT Jameel Clinic 成员、计算机科学与人工智能实验室 (CSAIL) 临床机器学习组组长；Yoon Kim，EECS 助理教授，CSAIL 成员。该研究最近在语言建模会议上发表。

象征性参考

为了帮助验证，许多法学硕士被设计为生成引文，这些引文指向外部文档以及基于语言的响应，以便用户可以检查它们。然而，这些验证系统通常是事后才设计的，没有考虑到人们筛选大量引用所需要付出的努力，沉说。

“生成式人工智能的目的是减少用户完成任务的时间。如果你需要花几个小时阅读所有这些文档来验证模型所说的内容是否合理，那么将几代人付诸实践就没那么有帮助了，”沉说。

研究人员从执行这项工作的人的角度来解决验证问题。

SymGen 用户首先向 LLM 提供可在其响应中引用的数据，例如包含篮球比赛统计数据的表。然后，研究人员不会立即要求模型完成任务，例如根据这些数据生成游戏摘要，而是执行中间步骤。它们提示模型以符号形式生成响应。

有了此提示，每次模型想要在其响应中引用单词时，它都必须写入数据表中包含其引用信息的特定单元格。例如，如果模型想要在响应中引用短语“波特兰开拓者”，它会将该文本替换为数据表中包含这些单词的单元格名称。

“因为我们有这个中间步骤，其中文本采用符号格式，所以我们能够拥有真正细粒度的引用。我们可以说，对于输出中的每个文本范围，这正是它对应的数据中的位置到，”亨尼根说。

然后，SymGen 使用基于规则的工具解析每个引用，该工具将相应的文本从数据表复制到模型的响应中。

“通过这种方式，我们知道它是逐字副本，因此我们知道与实际数据变量相对应的文本部分不会有任何错误，”沉补充道。

简化验证

由于模型的训练方式，该模型可以创建符号响应。大型语言模型从互联网上获取大量数据，一些数据以“占位符格式”记录，其中代码替换实际值。

当 SymGen 提示模型生成符号响应时，它使用类似的结构。“我们以特定的方式设计提示，以利用法学硕士的能力，”沉补充道。

在一项用户研究中，大多数参与者表示 SymGen 使验证 LLM 生成的文本变得更加容易。他们验证模型响应的速度比使用标准方法快约 20%。

然而，SymGen 受到源数据质量的限制。法学硕士可能会引用不正确的变量，而人类验证者可能对此一无所知。此外，用户必须拥有结构化格式（如表格）的源数据才能输入 SymGen。目前，该系统仅适用于表格数据。

展望未来，研究人员正在增强 SymGen，使其能够处理任意文本和其他形式的数据。例如，借助这种功能，它可以帮助验证人工智能生成的法律文件摘要的部分内容。他们还计划与医生一起测试 SymGen，研究它如何识别人工智能生成的临床摘要中的错误。

这个故事由麻省理工学院新闻转载（web.mit.edu/新闻办公室/），一个热门网站，涵盖有关麻省理工学院研究、创新和教学的新闻。