推論とは、人間が精神的に情報を処理して特定の結論を引き出したり、問題を解決したりするプロセスであり、主に 2 つのカテゴリに分類できます。演繹的推論として知られる最初のタイプの推論では、一般的な規則または前提から開始し、次にこの規則を使用して特定のケースについて結論を導き出します。

これは、たとえば、「すべての犬には耳がある」「チワワは犬である」という前提を構築して、「チワワには耳がある」と結論付けることを意味する可能性があります。

2 番目に広く使用されている推論形式は帰納的推論です。これは、特定の観察に基づいて一般化する (つまり、一般規則を定式化する) ことで構成されます。これは、たとえば、私たちが生きている間に出会った白鳥はすべて白だったため、すべての白鳥は白いと仮定することを意味します。

過去の数多くの研究では、人間が日常生活の中で演繹的推論と帰納的推論をどのように使用するかが調査されてきました。それでも、その程度は、人工知能(AI) システムがこれらの異なる推論戦略を採用していることは、これまでのところほとんど検討されていません。

Amazon とカリフォルニア大学ロサンゼルス校の研究チームは最近、人間の言語でテキストを処理、生成、適応させることができる大規模 AI システムである大規模言語モデル (LLM) の基本的な推論能力を調査する研究を実施しました。彼らの所見に投稿されました。arXivプレプリント サーバーは、これらのモデルが強力な帰納的推論機能を備えている一方で、演繹推論が不十分であることが多いことを示唆しています。

この論文の目的は、LLM 推論のギャップをよりよく理解し、標準から逸脱した「反事実的」推論タスクで LLM のパフォーマンスが低い理由を特定することでした。

過去のさまざまな研究では、基本的な推論タスクの一部として指示に従う能力をテストすることによって、LLM の演繹的推論スキルを評価しました。しかし、彼らの帰納的推論（つまり、過去に処理した情報に基づいて一般的な予測を行う能力）は詳しく調査されていませんでした。

帰納的推論と演繹的推論を明確に区別するために、研究者らは SolverLearner と呼ばれる新しいモデルを導入しました。このモデルは 2 段階のアプローチを使用して、ルールを学習するプロセスと、ルールを特定のケースに適用するプロセスを分離します。Amazonの広報担当者によると、特に、LLMの演繹的推論機能への依存を避けるため、ルールはコードインタープリタなどの外部ツールを通じて適用されるという。

Amazon のチームは、開発した SolverLearner フレームワークを使用して、具体的な例を使用して、入力データ ポイントを対応する出力にマッピングする関数を学習するように LLM をトレーニングしました。これにより、モデルが提供された例に基づいて一般的なルールをどの程度学習できるかを調査できるようになりました。

研究者らは、LLM は演繹的推論よりも強い帰納的推論能力を備えており、特に標準から逸脱した「反事実」シナリオを含むタスクの場合に顕著であることを発見しました。これらの調査結果は、LLM をいつどのように使用するかを人々がより深く理解するのに役立ちます。たとえば、チャットボットなどのエージェント システムを設計する場合、LLM の強力な誘導機能を活用する方がよい場合があります。

全体として、研究者らは、LLM は帰納的推論のタスクでは非常に優れたパフォーマンスを示しましたが、演繹的推論の能力が欠けていることが多かったことがわかりました。彼らの演繹的推論は、仮説に基づいたシナリオや標準から逸脱したシナリオでは特に苦手であるように見えました。

この研究の一環として収集された結果は、AI 開発者が LLM の強力な帰納的推論機能を活用して特定のタスクに取り組むよう促す可能性があります。さらに、LLM 推論プロセスの理解に向けたさらなる取り組みへの道を開く可能性もあります。

Amazon の広報担当者によると、この分野における将来の研究は、LLM の情報圧縮能力がその強力な帰納的能力とどのように関連しているかを調査することに焦点を当てる可能性があるとのことです。この観点により、LLM の帰納的推論能力がさらに向上する可能性があります。

© 2024 サイエンス X ネットワーク