为了让残疾人更容易访问互联网，俄亥俄州立大学的研究人员已经开始开发一种人工智能代理，可以使用简单的语言命令在任何网站上完成复杂的任务。

自首次发布以来的三十年里公共领域，万维网已经成为一个极其复杂的动态系统。然而，由于互联网功能现在已成为社会福祉不可或缺的一部分，其复杂性也使得导航变得相当困难。

如今，有数十亿个网站可帮助访问信息或与他人交流，并且互联网上的许多任务可能需要十多个步骤才能完成。这就是为什么该研究的合著者、俄亥俄州立大学计算机科学与工程系助理教授 Yu Su 表示，他们的工作利用从实时站点获取的信息来创建网络代理（在线人工智能助手），这是朝着这一目标迈出的一步。使数字世界一个不那么混乱的地方。

“对于一些人，特别是残疾人来说，浏览互联网并不容易，”苏说。“我们在日常生活和工作中越来越依赖计算世界，但这种访问的障碍越来越多，这在某种程度上扩大了差距。”

该研究于 12 月在第三十七届神经信息处理系统会议 (NeurIPS) 上发表，这是人工智能和机器学习研究的旗舰会议。这是可用的于arXiv预印本服务器。

Su 说，通过利用大型语言模型的强大功能，代理的工作方式与人类浏览网页时的行为类似。俄亥俄州立大学团队表明，他们的模型仅利用其处理和预测语言的能力就能够理解不同网站的布局和功能。

研究人员通过创建 Mind2Web 开始了这一过程，这是第一个通用网络代理数据集。尽管以前构建网络代理的努力主要集中在玩具模拟网站上，但 Mind2Web 完全接受了现实世界网站的复杂性和动态性，并强调代理泛化到以前从未见过的全新网站的能力。

苏说，他们的成功很大程度上归功于他们的代理人处理互联网不断变化的学习曲线的能力。该团队从 137 个不同的现实世界网站中提取了 2000 多个开放式任务，然后用这些任务来训练代理。

其中一些任务包括预订单程和往返国际航班、关注 Twitter 上的名人账户、浏览 Netflix 上 1992 年至 2017 年的喜剧电影，甚至安排在 DMV 进行汽车知识测试。许多任务都非常复杂，例如，预订其中一项任务国际航班模型中使用的操作将采取 14 个操作。苏说，这种轻松的多功能性允许在许多网站上进行多样化的报道，并为未来模型以自主方式探索和学习开辟了新的前景。

“只有像 ChatGPT 这样的大型语言模型最近得到了发展，这样的事情才成为可能，”Su 说。自该聊天机器人于 2022 年 11 月公开以来，数百万用户已使用它自动生成内容，从诗歌和笑话到烹饪建议和医疗诊断。

尽管如此，还是因为一网站可能包含数千个原始 HTML 元素，将如此多的信息提供给单个大型语言模型的成本太高。为了解决这一差距，该研究还引入了一个名为 MindAct 的框架，这是一个双管齐下的代理，它使用小型和大型语言模型来执行这些任务。该团队发现，通过使用这种策略，MindAct 的性能显着优于其他常见的建模策略，并且能够在相当程度上理解各种概念。

研究指出，通过更多的微调，该模型可能会与开源和闭源大型语言模型（例如 Flan-T5 或 GPT-4）一起使用。然而，苏说，他们的工作确实凸显了创建灵活人工智能时日益相关的伦理问题。Su 表示，虽然它肯定可以作为人类上网的有用代理，但该模型也可以用于增强 ChatGPT 等系统，并将整个互联网变成一个前所未有的强大工具。

“一方面，我们有巨大的潜力来提高效率，让我们能够专注于工作中最具创造性的部分，”他说。“但另一方面，也存在巨大的潜在危害。”例如，能够将在线步骤转化为现实世界的自主代理可能会通过采取潜在危险的行为（例如滥用财务信息或传播错误信息）来影响社会。

苏说：“我们应该对这些因素极其谨慎，并共同努力减轻它们。”但随着人工智能研究的不断发展，他指出，未来几年，社会很可能会在通用网络代理的商业用途和性能方面经历重大增长，特别是因为该技术已经在公众眼中获得了如此多的普及。

“在我的职业生涯中，我的目标一直是努力弥合人类用户和计算世界之间的差距，”苏说。“也就是说，这个工具的真正价值在于它确实可以节省人们的时间并使不可能成为可能。”