Trio of Apple researchers suggest artificial intelligence is still mostly an illusion
总体而言,即使我们仅更改名称,模型也会出现明显的性能变化,但当我们更改数字或组合这些更改时,模型的性能变化会更大。信用:arXiv(2024)。DOI:10.48550/arxiv.2410.05229

苹果电脑公司的研究人员通过测试发现证据表明,基于人工智能的法学硕士给出的看似智能的反应只不过是一种幻觉。在他们的发布于arXiv在预印本服务器上,研究人员认为,在测试了几位法学硕士后,他们发现他们无法进行真正的逻辑推理。

在过去的几年里,许多LLM(例如ChatGPT)已经发展到让许多用户开始怀疑他们是否拥有真正的智力。在这项新的努力中,苹果团队通过假设答案在于智能生物或机器理解简单情况下存在的细微差别的能力来解决这个问题,这需要逻辑

其中的细微差别之一是将相关信息与不相关信息分开的能力。如果一个例如,询问父母一袋苹果有多少个,同时也注意到有几个太小而无法食用,孩子和父母都明白苹果的大小与苹果的数量无关。这是因为他们都具有逻辑推理能力。

在这项新研究中,研究人员测试了几位法学硕士真正理解所问内容的能力,方法是间接要求他们忽略不相关的信息。

他们的测试涉及向多名法学硕士提出数百个问题,这些问题以前曾被用作测试法学硕士能力的手段,但研究人员也加入了一些不相关的信息。他们发现,这足以让法学硕士感到困惑,对他们之前正确回答的问题给出错误甚至无意义的答案。

研究人员认为,这表明法学硕士并没有真正理解他们被问到的问题。相反,他们识别句子的结构,然后吐出一个基于他们通过机器学习算法学到的知识。

他们还指出,他们测试的大多数法学硕士经常给出看似正确的答案,但经过进一步审查后却并非如此,例如当被问及他们对某件事的“感觉”如何时,得到的答案表明人工智能认为它有能力这种行为。

更多信息:Iman Mirzadeh 等人,GSM-Symbolic:了解大型语言模型中数学推理的局限性,arXiv(2024)。DOI:10.48550/arxiv.2410.05229

machinelearning.apple.com/research/gsm-symbolic

期刊信息: arXiv

© 2024 Science X 网络

引文:苹果研究人员认为人工智能仍然主要是一种幻觉(2024 年,10 月 16 日)检索日期:2024 年 10 月 16 日来自 https://techxplore.com/news/2024-10-apple-artificial-intelligence-illusion.html

本文档受版权保护。除了出于私人学习或研究目的的任何公平交易外,不得未经书面许可,不得复制部分内容。所提供的内容仅供参考。