Apple Computer Company の研究者は、AI ベースの LLM によって与えられる一見知的な応答が幻想に過ぎないことを示す証拠をテストを通じて発見しました。彼らの中で紙に投稿されたarXiv研究者らは、いくつかの LLM をテストした結果、これらの LLM は真の論理的推論を実行できないことが判明したと主張しています。

過去数年間で、ChatGPT などの多くの LLM は、多くのユーザーが真の知能を持っているのか疑問に思うまでに発展しました。この新しい取り組みで、Apple のチームは、論理的なニュアンスが必要となる、単純な状況に存在するニュアンスを理解する知的存在または機械の能力に答えがあると仮定して、この質問に取り組みました。推論。

そのようなニュアンスの 1 つは、関連する情報を関連しない情報から分離する機能です。もし子供たとえば、ある袋にリンゴが何個入っているかを親に尋ねると、いくつかは小さすぎて食べられないことにも注意しながら、子供も親もリンゴの大きさはリンゴの数とは関係がないことを理解しています。それは二人とも論理的思考能力を持っているからです。

この新しい研究で研究者らは、関係のない情報を無視するよう間接的に依頼することで、数人の LLM に質問の内容を真に理解する能力をテストしました。

彼らのテストでは、LLM の能力をテストする手段として以前に使用された数百の質問を複数の LLM に尋ねることが含まれていましたが、研究者らは少しの関連性のない情報も含めました。そして、これは LLM を混乱させ、以前は正しく答えていた質問に対して間違った答えを返したり、意味不明な答えを与えたりするのに十分であることを彼らは発見しました。

研究者らは、これはLLMが自分たちが何を求められているかを実際には理解していないことを示していると示唆している。代わりに、彼らは文の構造を認識してから、次のような言葉を吐き出します。答え機械学習アルゴリズムを通じて学んだことに基づいています。

また、テストした LLM のほとんどは、正しいように見える答えを返すことが非常に多いことにも注目していますが、さらに検討するとそうではありません。たとえば、何かについて「どう感じているか」と尋ねると、AI が次のようなことができると考えていることを示唆するような答えが得られます。そのような行動。

© 2024 サイエンス X ネットワーク