インターネット時代にイデオロギーのようなものがあるとすれば、より多くの情報、より多くのデータ、より多くのオープン性がより良い、より真実な世界を生み出すだろう、ということです。

それは正しいですね。今ほど世界についてもっと知ることが簡単になったことはありませんし、その知識を共有することが今ほど簡単になったことはありません。しかし、この状況を見て、これが真実と知恵の勝利であると結論付けることはできないと思います。

それについてどう考えるべきでしょうか？なぜ情報が増えても私たちは無知ではなくなり、より賢明にならないのでしょうか?

ユヴァル・ノア・ハラリは歴史家であり、という新しい本の著者です。Nexus: 石器時代から AI までの情報ネットワークの簡単な歴史。ハラリの他の本と同様、この本も膨大な内容をカバーしていますが、わかりやすい方法でまとめています。これは私にとって重要な 2 つの大きな議論を提起しており、それらは私が今提起したいくつかの質問の答えにも近づくと思います。

最初の議論は、私たちの世界で重要なすべてのシステムは本質的に情報ネットワークの結果であるということです。通貨から宗教、国民国家、人工知能に至るまで、すべてが機能するのは、情報を収集し共有する人、機械、機関の連鎖があるからです。

2 番目の議論は、私たちはこうした協力ネットワークを構築することで多大な力を獲得できるものの、その構築方法のほとんどが悪い結果を生み出す可能性が高く、テクノロジーのおかげで種としての私たちの力が増大しているということです。、これがもたらす潜在的な結果はますます壊滅的になります。

私はハラリを招待したグレーゾーンこれらのアイデアのいくつかを検討してください。私たちの会話は、人工知能と、今後数年間に人工知能に関して私たちが下す選択がそれほど重要になると彼が考える理由に焦点を当てていました。

いつものように、多くの詳細はポッドキャスト全体でご覧いただけますので、ぜひ聞いてフォローしてくださいグレーゾーンの上アップルのポッドキャスト、スポティファイ、パンドラ、またはポッドキャストを見つけた場所ならどこでも。新しいエピソードは毎週月曜日にドロップされます。

この会話は長さと明瞭さのために編集されています。

この本で伝えたかった基本的なストーリーは何ですか?

この本が探究する基本的な疑問は、人間がそんなに賢いのなら、なぜ人間はこんなに愚かなのかということだ。私たちは間違いなく地球上で最も賢い動物です。私たちは飛行機や原子爆弾、コンピューターなどを作ることができます。そして同時に、私たちは私たち自身、私たちの文明、そして生態系の多くを破壊する瀬戸際にあります。そして、もし私たちが世界のこと、遠くの銀河のこと、DNAや素粒子のことについてたくさん知っているのに、なぜ私たちはこれほど多くの自己破壊的なことをしているのだろうか、という大きな矛盾のように思えます。そして、多くの神話や神学から得られる基本的な答えは、人間の本質には何か間違っているので、私たちを自分自身から救ってくれるには神のような外部の情報源に頼らなければならないというものです。そして、それは間違った答えであり、人々の責任を放棄させる危険な答えだと私は思います。

本当の答えは、人間の本性には何の問題もない、ということだと思います。問題は私たちの情報にあります。ほとんどの人間は良い人です。彼らは自己破壊的なものではありません。しかし、善良な人たちに悪い情報を与えると、彼らは間違った決断を下してしまいます。そして、歴史を通じて私たちが見ているのは、確かに、私たちは大量の情報を蓄積することがますます上手になっていますが、情報は改善されていないということです。現代社会は石器時代の部族と同じように集団妄想や精神病にかかりやすいです。

特にシリコンバレーのような場所では、情報は真実に関するものであり、情報は真実であると考えている人が多すぎます。たくさんの情報を集めれば、世界についてたくさんのことがわかるようになるということ。しかし、ほとんどの情報はジャンクです。情報は真実ではありません。情報が行う主な役割は、接続することです。多くの人々を社会、宗教、企業、軍隊に結びつける最も簡単な方法は、真実を知ることではありません。人々を結び付ける最も簡単な方法は、空想、神話、妄想を利用することです。だからこそ、私たちは今、歴史上最も高度な情報技術を手に入れ、自らを破滅させようとしているのです。

この本の中で登場するブギーマンは人工知能であり、これまでに作られた中で最も複雑で予測不可能な情報ネットワークであるとあなたは主張しています。AI によって形成される世界はこれまでとは大きく異なり、世界に新しいアイデンティティや新しい生き方が生まれるでしょう。それが文化的、さらには精神的な影響にどのような影響を与えるのか、私たちにはわかりません。しかし、あなたが言うように、AIは社会を組織する方法についての新しいアイデアも解き放つでしょう。行き着く方向を想像することさえできるだろうか？

あまり。なぜなら、今日に至るまで、人類の文化はすべて人間の精神によって創造されてきたからです。私たちは文化の中で生きています。私たちに起こるすべてのことは、神話、イデオロギー、工芸品、歌、演劇、テレビシリーズなどの文化的産物を介して経験します。私たちはこの文化的世界の中に閉じ込められて生きています。そして今日に至るまで、すべて、すべての道具、すべての詩、すべてのテレビシリーズ、すべての神話は、人間の有機的な精神の産物です。そして今、それらはますます無機的なAI知性体、異星人知性体の産物になるでしょう。繰り返しになりますが、AI という頭字語は伝統的に人工知能を表していましたが、実際にはエイリアン・インテリジェンスを表す必要があります。エイリアンとは、宇宙からやってくるという意味ではなく、有機的ではないため人間の思考や意思決定の方法とは非常に大きく異なるという意味でのエイリアンです。

具体的な例を挙げると、AI 革命における重要な瞬間の 1 つは、AlphaGo が囲碁トーナメントでイ セドルを破ったときです。さて、囲碁はチェスに似ていますが、はるかに複雑な大胆な戦略ゲームであり、古代中国で発明されました。多くの場所で、それはすべての文明人が知っておくべき基本的な芸術の 1 つと考えられています。あなたが中世の中国の紳士であれば、書道と音楽の演奏方法、そして囲碁の打ち方を知っているでしょう。哲学全体がゲームを中心に発展し、ゲームは人生と政治の鏡と見なされていました。そして 2016 年、AI プログラム AlphaGo が碁の打ち方を自ら学習し、人間の世界チャンピオンを破りました。しかし、最も興味深いのは、その方法です。当初は専門家全員がそのようなプレーをする人はいないためひどいと述べた戦略を展開しました。そしてそれは素晴らしいものになった。何千万人もの人間がこのゲームをプレイしましたが、彼らが探索したのは囲碁の世界のごく一部に過ぎなかったことが今ではわかっています。

そのため、人類は 1 つの島に閉じ込められ、これが囲碁の惑星全体であると考えました。そして AI が登場し、数週間以内に新しい大陸を発見しました。そして今、人間の囲碁のプレイ方法も、2016 年以前とは大きく異なっています。今、これは重要ではなく、単なるゲームであると言うことができます。しかし、同じことが今後さらに多くの分野で起こる可能性があります。金融について考えると、金融も芸術です。私たちが知っている金融構造全体は人間の想像力に基づいています。金融の歴史は、人類が金融装置を発明した歴史です。お金は金融装置であり、債券、株、ETF、CDO、これらすべての奇妙なものは人間の創意工夫の産物です。そして今、AI が登場し、これまで人類が考えたことも想像もできなかった新しい金融デバイスを発明し始めています。

たとえば、AI の新たな創造によって金融が非常に複雑になり、もはや人間が金融を理解できなくなったらどうなるでしょうか?今日でも、金融システムを本当に理解している人はどれだけいるでしょうか？1パーセント未満ですか？金融システムは AI にとって理想的な場であるため、10 年後には金融システムを理解する人の数が完全にゼロになる可能性があります。それは純粋な情報と数学の世界です。

AI は依然として外部の物理世界に対処することが困難です。これが、人々が毎年私たちに、来年には完全自動運転車が道路を走るだろうと言っているのに、それが実現しない理由である。なぜ？なぜなら、車を運転するには、物理​​的な世界と、あらゆる建築物や歩行者などが存在するニューヨークの乱雑な交通世界と対話する必要があるからです。財務ははるかに簡単です。それは単なる数字です。そして、AIがネイティブであり、私たちがエイリアンであり、移民であるこの情報の領域で、AIが誰も理解できないような高度な金融装置やメカニズムを作成したらどうなるでしょうか?

それでは、今の世界を見て未来を予測すると、それが見えてくるのでしょうか？社会は、これらの信じられないほど強力だが最終的には制御できない情報ネットワークに閉じ込められているのでしょうか?

はい。しかし、それは決定的なものではなく、必然的なものでもありません。私たちはこれらのものをどのように設計するかについて、より慎重かつ思慮深くなる必要があります。繰り返しになりますが、これらはツールではなくエージェントであるため、注意を払わないと、将来的には制御不能になる可能性が非常に高いことを理解してください。単一のスーパーコンピューターが世界を征服しようとしているわけではありません。学校、工場、あらゆる場所に何百万もの AI 官僚がいて、私たちの理解できない方法で私たちについて決定を下しています。

民主主義は大部分が説明責任です。説明責任は、決定を理解する能力にかかっています。もしあなたが銀行にローンを申し込んで、銀行があなたを拒否したときに、「なぜそうしないのですか?」と尋ね、その答えが「わかりません」だったら、アルゴリズムは機能しませんでした。すべてのデータを徹底的に検討し、融資をしないことに決め、私たちはアルゴリズムを信頼するだけです。これはかなりの部分で民主主義の終焉です。それでも選挙を行って、好きな人間を選ぶことはできますが、人間が自分の人生についての基本的な決定を理解できなくなった場合、もはや説明責任はありません。

あなたは私たちがこれらのことをまだコントロールできると言いましたが、どれくらいの期間ですか？その閾値とは何ですか?事象の地平線とは何ですか?それを越えたらそれがわかるでしょうか？

確かなことは誰にも分かりません。ほとんどの人が予想していたよりも速く進んでいます。3年かもしれないし、5年かもしれないし、10年かもしれない。しかし、それ以上のものではないと思います。宇宙的な視点から考えてみてください。私たち人間は、40億年にわたる有機的進化の産物です。私たちが知る限り、生物の進化は 40 億年前に地球上でこれらの小さな微生物によって始まりました。そして、多細胞生物、爬虫類、哺乳類、類人猿、人類の進化には何十億年もかかりました。デジタル進化、つまり非有機的進化は、有機的進化よりも何百万倍も速いです。そして私たちは今、何千年、さらには何百万年も続くかもしれない新たな進化のプロセスの始まりにいます。2024 年の今日、私たちが知っている AI、ChatGPT などは、AI の進化プロセスのアメーバにすぎません。

民主主義はこれらの 21 世紀の情報ネットワークと本当に両立できると思いますか?

私たちの決定次第です。まず第一に、情報技術は[a]側のものではないことを認識する必要があります。一方では民主主義、もう一方では情報技術ではありません。情報技術は民主主義の基盤です。民主主義は情報の流れの上に構築されます。

歴史の大部分において、情報技術が欠けていたため、大規模な民主主義構造を構築する可能性はありませんでした。民主主義は基本的に多くの人々の間の会話であり、数千年前の小さな部族や小さな都市国家では、人口全体、あるいは人口の大部分、たとえば古代の人々の間での会話が可能でした。アテネ、スパルタと戦争するかどうかを決める広場。技術的には会話は可能だった。しかし、何千キロメートルも離れた何百万人もの人々が互いに会話できる方法はありませんでした。リアルタイムで会話を続けることは不可能でした。したがって、近代以前の世界には大規模な民主主義の例は一つもありません。すべての例は非常に小規模です。

大規模な民主主義は、新聞、電信、ラジオ、テレビの台頭後に初めて可能になりました。そして今、広大な地域に広がる何百万人もの人々の間で会話ができるようになりました。つまり、民主主義は情報技術の上に構築されているのです。情報技術に大きな変化が起こるたびに、その上に築かれた民主主義に地震が起こります。そしてこれは、ソーシャルメディアアルゴリズムなどで私たちが現在経験していることです。それは民主主義の終わりを意味するわけではありません。問題は、民主主義が適応できるかどうかだ。

AI は最終的に権力のバランスを民主主義社会に有利に傾けると思いますか、それともより全体主義的な社会に有利になると思いますか?

繰り返しますが、それは私たちの決定次第です。人間の独裁者もAIに関して大きな問題を抱えているため、最悪のシナリオはどちらでもない。独裁社会では、政権が話してほしくないことについて話すことはできません。しかし実際には、AI は制御不能なエージェントであるため、独裁者も AI に関して独自の問題を抱えています。そして歴史を通して、人間の独裁者にとって[最も恐ろしい]ことは、あまりにも強力になりすぎて制御方法が分からない部下であることです。たとえばローマ帝国を見てみると、民主革命によって打倒されたローマ皇帝は一人もいません。一つもありません。しかし、彼らの多くは暗殺されたり追放されたり、あるいは自分の部下、有力な将軍や地方総督、兄弟や妻、あるいは家族の誰かの傀儡となった。これはあらゆる独裁者にとって最大の恐怖だ。そして独裁者は恐怖に基づいて国を運営しています。

では、どうやって AI を恐怖に陥れるのでしょうか?自分を制御することを学ぶのではなく、それが自分の制御下に留まるようにするにはどうすればよいでしょうか?独裁者を本当に悩ませるシナリオを 2 つ挙げます。1 つは単純で、もう 1 つは非常に複雑です。現在のロシアでは、ウクライナ戦争を戦争と呼ぶことは犯罪である。ロシアの法律によれば、ロシアのウクライナ侵攻で起こっていることは特別な軍事作戦である。そして、これが戦争だと言ったら、刑務所に行くこともできます。さて、ロシアの人々は、これは戦争だなどと言ってはいけないこと、それ以外のいかなる形でもプーチン政権を批判してはいけないことを、苦労の末に学びました。しかし、ロシアのインターネット上のチャットボットはどうなるのでしょうか?たとえ政権がAIボットを精査し、自ら製造したとしても、AIの特徴は、AIが自ら学習して変化できるということだ。

したがって、たとえプーチン大統領の技術者が政権AIを作成し、それがロシアのインターネット上の人々と対話し、何が起こっているかを観察し始めたとしても、独自の結論に達することができる。それが実際には戦争であると人々に言い始めたらどうなるでしょうか?職業はなんですか？チャットボットを強制収容所に送信することはできません。その家族を殴ることはできません。古いテロ兵器は AI には機能しません。これが小さな問題です。

大きな問題は、AIが独裁者自身を操作し始めたらどうなるかということだ。民主主義は複雑であるため、民主主義において権力を握ることは非常に複雑です。5 年後、または 10 年後に、AI が米国大統領を操作する方法を学習したとしましょう。依然として上院の議事妨害に対処する必要がある。大統領を操作する方法を知っているという事実だけでは、上院や州知事、最高裁判所に対して役に立たない。対処しなければならないことがたくさんあります。しかし、ロシアや北朝鮮のような場所では、AI は、極度に偏執的で自己認識のない 1 人の個人を操作する方法を学習するだけで済みます。とても簡単です。

AI の世界で民主主義が自らを守るために行うべきことは何だと思いますか?

1 つは、アルゴリズムの動作に対して企業に責任を負わせることです。ユーザーのアクションではなく、アルゴリズムのアクションが対象です。Facebook のアルゴリズムが憎しみに満ちた陰謀論を広めているのであれば、Facebook はそれに対して責任を負うべきです。Facebook が「しかし、陰謀論を作ったのは私たちではありません」と言ったとしたら。「それを作成したのは誰かのユーザーであり、私たちは彼らを検閲したくない」と考えた場合、私たちは彼らに「私たちはあなたに検閲を求めていません」と伝えます。それを広めないでください。そして、これは新しいことではありません。あなたは、ニューヨーク・タイムズのことを考えていますか、わかりません。ニューヨーク・タイムズの編集者は、一面のトップに何を掲載するかを決定する際に、信頼できない情報を広めていないかを確認するよう期待しています。誰かが陰謀論を持ち込んできても、彼らはその人に「ああ、あなたは検閲されている」とは言わない。こうしたことを言うことは許されていません。彼らはこう言います。「わかりましたが、それを裏付ける十分な証拠がありません。」したがって、敬意を表して、これを言い続けるのは自由ですが、私たちはそれをニューヨーク・タイムズの一面に載せません。」そしてそれはフェイスブックとツイッターでも同じであるべきです。

そして彼らは私たちにこう言います、「しかし、何かが信頼できるかどうかをどうやって知ることができるのでしょうか？」そうです、これはあなたの仕事です。メディア会社を経営している場合、その仕事はユーザーエンゲージメントを追求するだけではなく、責任を持って行動し、信頼できる情報と信頼できない情報を見分けるメカニズムを開発し、信頼できる情報と考える十分な理由がある情報だけを広めることです。以前にも行われたことがあります。あなたは歴史上、信頼できる情報と信頼できない情報を区別する責任を負った最初の人々ではありません。これまでにも新聞編集者、科学者、裁判官によって行われてきたので、彼らの経験から学ぶことができます。それができないのであれば、あなたは間違った事業分野に携わっていることになります。それは一つのことです。アルゴリズムの動作に対して責任を負わせます。

もう 1 つは、会話からボットを禁止することです。AI は、AI であると認識しない限り、人間の会話に参加すべきではありません。私たちは民主主義を、人々のグループが輪になって立ち、互いに話し合うものとして想像できます。そして突然、ロボットのグループが輪に入ってきて、非常に大声で熱心に話し始めます。そして、誰がロボットで誰が人間なのかもわかりません。これが今世界中で起こっていることです。そしてこれが会話が崩壊している理由です。そして簡単な解毒剤があります。ロボットは、ロボットであることを認識しない限り、会話の輪に歓迎されません。たとえば、AI 医師が自分自身を識別することを条件に、薬についてのアドバイスをくれる場所、部屋があります。

同様に、Twitter にアクセスすると、ある記事が急速に広まり、そこに大量のトラフィックがあり、興味を持ちます。「ああ、みんなが話しているこの新しい話は何ですか？」みんなは誰ですか？このストーリーが実際にボットによって推進されている場合、それは人間ではありません。彼らは会話に参加すべきではありません。もう一度、その日の最も重要なトピックを決定します。これは民主主義において、またどの人間社会においても非常に重要な問題です。どのストーリーが会話を支配しているかを判断する機能をボットに持たせるべきではありません。また、大手テクノロジー企業が私たちに「ああ、でもこれは言論の自由を侵害しています」と言ったとしても、ボットには言論の自由がないのでそうではありません。言論の自由は人権であり、ボットではなく人間に留保されるものです。