人間によるコンピューター ゲームには長い歴史があり、主要な人工知能テクノロジーを検証するための主要なツールとして使用されてきました。1950 年に提案されたチューリング テストは、機械が人間の知能を持っているかどうかを判断するための最初の人間とコンピューターのゲームでした。これは研究者に、人間のプロのプレーヤーに挑戦できる AI システム (AI) の開発を促すきっかけとなっています。

典型的な例は、チヌークと呼ばれるチェッカーAIです。これは、チェッカーAIを倒すために1989年に開発されました。世界チャンピオン。1994 年にマリオン ティンズリーを破ったことで目標は達成されました。その後、IBM のディープ ブルーが 1997 年にチェスのグランドマスター ガルリー カスパロフを破り、人間とコンピューターのゲームの歴史に新時代を切り開きました。

近年、研究者たちは、DQN エージェント、AlphaGo、Libratus、OpenAI Five から AlphaStar に至るまで、人間のコンピュータ ゲーム AI の急速な発展を目の当たりにしてきました。これらの AI は、最新の技術を組み合わせて、特定のゲームでプロの人間のプレイヤーを倒すことができ、意思決定の知能が大きく進歩したことを示しています。

たとえば、AlphaGo Zero は、モンテカルロ木探索、セルフプレイ、およびディープラーニング、数十人のプロ棋士を破り、大規模な状態の完全情報ゲームの強力なテクニックを表します。OpenAI Five は、セルフプレイ、深層強化学習、手術による継続的転移を利用して、e スポーツ ゲームで世界チャンピオンに勝った初の AI となり、複雑で不完全な情報ゲームに役立つテクニックを示しました。

ゲーム StarCraft と Dota2 でそれぞれプロの人間プレイヤー レベルに達した AlphaStar と OpenAI Five の成功を受けて、現在の技術で非常に複雑なゲームを解決できるようになりました。特に、Honor of Kings や麻雀などのゲーム用の最新の人間コンピュータ ゲーム AI の画期的な進歩は、AlphaStar や OpenAI Five の同様のフレームワークに従っており、現在の技術がある程度の普遍性を持っていることを示しています。

そこで、当然の疑問が 1 つ生じます。人間とコンピューターのゲームにおいて、現在の技術で起こり得る課題は何でしょうか。また、将来の傾向はどうなるのでしょうか?新しい紙出版されたで機械知能の研究最近の成功した人間とコンピュータのゲーム AI をレビューすることを目的としており、現在の技術を徹底的に分析することでその疑問に答えようとしています。

人間とコンピューターのゲーム AI の現在の画期的な進歩に基づいています (ほとんどの論文は次のようなジャーナルに掲載されています)科学そして自然)、研究者らは 4 つの典型的なタイプのゲーム、つまり囲碁を使ったボード ゲームを調査しています。ヘッズアップ ノーリミット テキサス ホールデム (HUNL)、DouDiZhu、麻雀などのカード ゲーム。キャプチャ ザ フラッグ (CTF) の Quake III Arena を使用した一人称シューティング ゲーム (FPS)。StarCraft、Dota2、Honor of Kings のリアルタイム ストラテジー ゲーム (RTS)。対応する AI は、AlphaGo、AlphaGo Zero、AlphaZero、Libratus、DeepStack、DouZero、Suphx、FTW、AlphaStar、OpenAI Five、JueWu、Commander をカバーします。

この論文の残りの部分は次のように構成されています。セクション 2 では、研究者がこの論文で取り上げたゲームと AI について説明します。この論文では、人間とコンピュータのゲーム AI の最近の進歩に基づいて、ボード ゲーム、カード ゲーム、FPS ゲーム、RTS ゲームという 4 種類のゲームとそれに対応する AI をレビューします。プロの人間レベルの AI を開発するゲームの難しさを測定するために、研究者らは、不完全な情報、長い時間軸、推移的なゲーム、マルチエージェントの協力など、インテリジェントな意思決定を妨げるいくつかの重要な要素を抽出しています。

セクション 3 はボードゲーム AI についてです。AlphaGo シリーズは、以前の Go プログラムで広く利用されているモンテカルロ木探索 (MCTS) に基づいて構築されています。AlphaGo は 2015 年に登場し、欧州囲碁チャンピオンの Fan Hui を破りました。これは、AI がフルサイズの囲碁ゲーム、レンツィなしの囲碁でプロ プレーヤーに勝ったのは初めてでした。その後、AlphaGo Zero と呼ばれる高度なバージョンが、さまざまな学習フレームワークを使用して開発されました。これは、事前のプロの人間対決データを必要とせず、超人的なパフォーマンスに達します。AlphaZero は、AlphaGo Zero と同様の学習フレームワークを使用し、他の 2 つのアルゴリズムとともに Go を習得する一般的な強化学習アルゴリズムを探索します。ボードゲーム、チェス、将棋。

セクション 4 では、カードゲーム AI について紹介します。カード ゲームは、典型的な不完全情報ゲームとして、人工知能にとって長年の課題でした。DeepStack と Libratus は、HUNL でプロのポーカー プレーヤーを破る 2 つの典型的な AI システムです。これらは同じ基本テクニック、つまり反事実的後悔の最小化 (CFR) を共有しています。その後、研究者たちは人工知能に新たな課題をもたらす麻雀とDouDiZhuに焦点を当てています。Microsoft Research Asia によって開発された Suphx は、麻雀において人間のトッププレイヤーのほとんどを上回るパフォーマンスを発揮する初の AI システムです。DouDiZhu 用に設計された DouZero は、344 の AI エージェントの中で Botzone リーダーボードで 1 位にランクされた AI システムです。

一人称シューティング ゲーム AI はセクション 5 に示されています。CTF は典型的な 3 次元マルチプレイヤー一人称ビデオ ゲームで、2 つの対立するチームが屋内または屋外のマップ上で互いに戦っています。CTF の設定は、現在のマルチプレイヤー ビデオ ゲームとは大きく異なります。具体的には、CTF のエージェントは他のプレイヤーの状態にアクセスできず、チーム内のエージェント同士が通信できないため、この環境は、エージェントがコミュニケーションを確立し、ゼロショット生成に適応することを学習するための非常に良いテストベッドになります。ゼロショットとは、協力または対立するエージェントが訓練されたエージェントではないことを意味します。エージェントは人間のプレイヤーでも任意の AI エージェントでも構いません。人間と同様にピクセルとゲーム ポイントのみを入力として使用することで、学習されたエージェント FTW は人間レベルの強力なパフォーマンスに達します。

セクション 6 は RTS ゲームについてです。RTS ゲームは典型的なビデオ ゲームであり、何万人もの人々が互いに戦いますが、当然のことながら、人間とコンピューターのゲームのテストベッドになります。さらに、RTS ゲームは通常、以前のゲームよりも現実世界の性質をより多く捉えた複雑な環境を備えており、そのようなゲームの画期的な進歩をより応用可能にしています。DeepMind によって開発された AlphaStar は、一般的な学習アルゴリズムを使用しており、StarCraft の 3 つのレースすべてでグランドマスター レベルに達しており、ヨーロッパ サーバーでアクティブな人間のプレイヤーの 99.8% を上回ります。Commander は軽量の計算バージョンであり、AlphaStar と同じ学習アーキテクチャに従っており、計算量が 1 桁少ないため、ライブ イベントで 2 人のグランドマスター プレーヤーに勝利します。OpenAI Five は、eSports ゲームで世界チャンピオンを破った初の AI システムである Dota2 ゲームを解決することを目指しています。Dota2 と比較的似た eSports ゲームとして、Honor of Kings は最も類似した課題を共有しており、JueWu はヒーロー プールを制限する代わりに完全な RTS ゲームをプレイできる最初の AI システムになります。

セクション 7 では、研究者が利用されたさまざまな技術を要約し、比較します。人間とコンピュータのゲーム AI の現在の進歩に基づいて、現在利用されている技術は、セルフプレイ (SP) を備えたツリー検索 (TS) とセルフプレイを備えた分散深層強化学習 (DDRL) の 2 つのカテゴリに大別できます。またはポピュレーションプレイ（PP）。研究者は各カテゴリの基本または主要なテクニックについて言及しているだけであり、これに基づいてさまざまな AI が通常、ゲームに基づいて他の主要なモジュールを導入しており、それらの新しいモジュールがゲーム全体で汎用的ではない場合があることに注意してください。木探索の代表的なアルゴリズムとしては、完全情報ゲームでよく使われるMCTSと、従来から不完全情報ゲームで使われるCFRの2種類があります。ポピュレーションプレイに関しては、次の 3 つの状況で使用されます。ゲームの特性により、異なるプレーヤー/エージェントが同じポリシー ネットワークを共有しません。非推移性などのゲーム理論上の課題を克服するために個体群を維持することができます。母集団と母集団ベースのトレーニングを組み合わせて、スケーラブルなエージェントを学習します。この比較により、研究者は次の 2 つの点について議論します。「ナッシュ均衡に到達する方法」と「一般的な技術になる方法」です。

セクション 8 では、研究者らが現在のゲーム AI の課題を示しており、これがこの分野の将来の研究の方向性となる可能性があります。人間とコンピュータのゲームは大きく進歩しましたが、現在の技術には少なくとも 3 つの制限のうち 1 つがあります。まず、ほとんどの AI は特定の人間とコンピューターのゲームまたは特定のゲームのマップ向けに設計されており、学習された AI はゲームの異なるマップでも使用できません。さらに、外乱が持ち込まれたときの AI の能力を検証するための十分な実験は行われていません。ゲーム。第二に、上記の AI のトレーニングには大量の計算リソースが必要です。ハードウェア リソースのしきい値が膨大であるため、高レベルの AI をトレーニングできる組織は限られており、問題の詳細な研究がほとんどの科学研究で妨げられることになります。第三に、ほとんどの AI は限られた人間のプロプレイヤーに対する勝利能力に基づいて評価されており、エキスパートレベルに達するという主張は少し誇張されている可能性があります。このパートでは、上記の制限によって直面する可能性のある方向性と課題について説明します。

この論文では、人間とコンピューターのゲームにおける AI の現在の画期的な技術を要約し、比較します。研究者は、この調査を通じて、初心者がこのエキサイティングな分野の技術、課題、機会にすぐに慣れることができ、途中の研究者がより深い研究に向けて刺激を受けることができることを望んでいます。

提供元北京中科雑誌出版有限公司