Trio of Apple researchers suggest artificial intelligence is still mostly an illusion
總體而言,即使我們僅更改名稱,模型也會出現明顯的效能變化,但當我們更改數字或組合這些變更時,模型的效能變化會更大。信用:arXiv(2024)。DOI:10.48550/arxiv.2410.05229

蘋果電腦公司的研究人員透過測試發現證據表明,基於人工智慧的法學碩士給出的看似智慧的反應只不過是一種幻覺。在他們的發佈於arXiv在預印本伺服器上,研究人員認為,在測試了幾位法學碩士後,他們發現他們無法進行真正的邏輯推理。

在過去的幾年裡,許多LLM(例如ChatGPT)已經發展到讓許多用戶開始懷疑他們是否擁有真正的智力。在這項新的努力中,蘋果團隊透過假設答案在於智慧生物或機器理解簡單情況下存在的細微差別的能力來解決這個問題,這需要邏輯

其中的細微差別之一是將相關資訊與不相關資訊分開的能力。如果一個例如,問父母一袋蘋果有多少個,同時也注意到有幾個太小而無法食用,孩子和父母都明白蘋果的大小與蘋果的數量無關。這是因為他們都具有邏輯推理能力。

在這項新研究中,研究人員測試了幾位法學碩士真正理解所問內容的能力,方法是間接要求他們忽略不相關的資訊。

他們的測試涉及向多名法學碩士提出數百個問題,這些問題以前曾被用作測試法學碩士能力的手段,但研究人員也加入了一些不相關的資訊。他們發現,這足以讓法學碩士感到困惑,對他們先前正確回答的問題給出錯誤甚至無意義的答案。

研究人員認為,這顯示法學碩士並沒有真正理解他們被問到的問題。相反,他們辨識句子的結構,然後吐出一個基於他們透過機器學習演算法學到的知識。

他們還指出,他們測試的大多數法學碩士經常給出看似正確的答案,但經過進一步審查後卻並非如此,例如當被問及他們對某件事的「感覺」如何時,得到的答案表明人工智慧認為它有能力這種行為。

更多資訊:Iman Mirzadeh 等人,GSM-Symbolic:了解大型語言模型中數學推理的局限性,arXiv(2024)。DOI:10.48550/arxiv.2410.05229

machinelearning.apple.com/research/gsm-symbolic

期刊資訊: arXiv

© 2024 Science X 網絡

引文:蘋果研究人員認為人工智慧仍然主要是一種幻覺(2024 年,10 月 16 日)檢索日期:2024 年 10 月 16 日來自 https://techxplore.com/news/2024-10-apple-artificial-intelligence-illusion.html

本文檔受版權保護。除了出於私人學習或研究目的的任何公平交易外,不得未經書面許可,不得複製部分內容。所提供的內容僅供參考。