인터넷 시대에 이념 같은 것이 있다면, 더 많은 정보와 데이터, 더 많은 개방성이 더 좋고 더 진실된 세상을 만들 것이라는 것입니다.

맞는 것 같군요, 그렇죠?지금보다 세상에 대해 더 많이 아는 것이 그 어느 때보다 쉬웠고, 그 지식을 공유하는 것이 지금보다 더 쉬웠던 적은 없었습니다.하지만 상황을 보고 이것이 진실과 지혜의 승리였다고 결론을 내릴 수는 없을 것 같습니다.

우리는 그걸로 무엇을 만들 수 있나요?더 많은 정보가 우리를 덜 무지하고 더 현명하게 만들지 못한 이유는 무엇입니까?

유발 노아 하라리(Yuval Noah Harari)는 역사가이자 새로운 책의 저자입니다.넥서스: 석기 시대부터 AI까지 정보 네트워크의 간략한 역사.Harari의 모든 책과 마찬가지로 이 책도 방대한 내용을 다루고 있지만 소화할 수 있는 방식으로 처리하고 있습니다.그것은 나에게 중요하다고 생각하는 두 가지 큰 주장을 제시하며, 또한 이 주장을 통해 내가 방금 제기한 몇 가지 질문에 대한 답에 더 가까워질 수 있다고 생각합니다.

첫 번째 주장은 우리 세계에서 중요한 모든 시스템은 본질적으로 정보 네트워크의 결과라는 것입니다.통화부터 종교, 민족 국가, 인공 지능에 이르기까지 모든 것이 작동합니다. 정보를 수집하고 공유하는 사람, 기계, 기관의 사슬이 있기 때문입니다.

두 번째 주장은 우리가 이러한 협력 네트워크를 구축함으로써 엄청난 양의 힘을 얻더라도 대부분의 네트워크가 구축되는 방식으로 인해 나쁜 결과를 낳을 가능성이 더 높으며, 종으로서의 우리의 힘은 기술 덕분에 성장하고 있기 때문이라는 것입니다., 이로 인한 잠재적 결과는 점점 더 치명적입니다.

하라리를 초대했어요회색지대이러한 아이디어 중 일부를 살펴보겠습니다.우리의 대화는 인공지능에 초점을 맞추었고 그가 앞으로 몇 년 동안 우리가 그 분야에서 내리는 선택이 그토록 중요할 것이라고 생각하는 이유에 대해 이야기했습니다.

언제나 그랬듯,많이전체 팟캐스트에서 자세한 내용을 확인하세요. 듣고 팔로우하세요.회색지대~에애플 팟캐스트,스포티파이,판도라, 또는 팟캐스트를 찾을 수 있는 곳이라면 어디든 가능합니다.매주 월요일마다 새로운 에피소드가 공개됩니다.

이 대화는 길이와 명확성을 위해 편집되었습니다.

이 책에서 하고 싶었던 기본적인 이야기는 무엇인가요?

이 책이 탐구하는 기본적인 질문은 인간이 그렇게 똑똑하다면 왜 그렇게 어리석은가 하는 것입니다.우리는 확실히 지구상에서 가장 똑똑한 동물입니다.우리는 비행기, 원자폭탄, 컴퓨터 등을 만들 수 있습니다.동시에 우리는 우리 자신과 문명, 그리고 많은 생태계를 파괴할 위기에 처해 있습니다.그리고 우리가 세계와 먼 은하계, DNA와 아원자 입자에 대해 그렇게 많이 알고 있다면 왜 그렇게 많은 자기 파괴적인 일을 하고 있다는 것은 큰 역설처럼 보입니다.그리고 많은 신화와 신학에서 얻는 기본적인 대답은 인간의 본성에 뭔가 잘못된 것이 있으므로 우리를 우리 자신으로부터 구하기 위해 신과 같은 외부 소스에 의존해야 한다는 것입니다.그리고 내 생각에 그것은 틀린 대답이고, 사람들이 책임을 회피하게 만들기 때문에 위험한 대답이다.

인간의 본성에는 아무런 문제가 없다는 것이 진정한 대답이라고 생각합니다.문제는 우리의 정보에 있습니다.대부분의 인간은 좋은 사람입니다.그들은 자기 파괴적이지 않습니다.하지만 좋은 사람에게 나쁜 정보를 주면 그들은 나쁜 결정을 내립니다.그리고 우리가 역사를 통해 보는 것은 그렇습니다. 우리는 엄청난 양의 정보를 축적하는 데 점점 더 능숙해졌지만 정보는 더 나아지지 않는다는 것입니다.현대 사회는 석기 시대 부족만큼 집단 망상과 정신병에 취약합니다.

너무 많은 사람들, 특히 실리콘밸리 같은 곳에서는 정보가 진실이고 정보가 진실이라고 생각합니다.많은 정보를 축적하면 세상의 많은 것을 알게 된다는 것.그러나 대부분의 정보는 정크입니다.정보는 진실이 아닙니다.정보가 하는 가장 중요한 일은 연결입니다.많은 사람들을 사회, 종교, 기업, 군대에 연결하는 가장 쉬운 방법은 진리가 아닙니다.사람들을 연결하는 가장 쉬운 방법은 환상, 신화, 망상입니다.이것이 바로 우리가 역사상 가장 정교한 정보 기술을 보유하고 있으며 우리 자신이 파괴될 위기에 처해 있는 이유입니다.

책에 나오는 부기맨은 인공지능입니다. 당신은 인공지능이 지금까지 만들어진 정보 네트워크 중 가장 복잡하고 예측할 수 없는 것이라고 주장합니다.AI가 형성하는 세계는 매우 다를 것이며, 새로운 정체성과 세상에 존재하는 새로운 방식을 낳을 것입니다.우리는 그것이 문화적, 심지어 영적인 영향을 미칠지 전혀 모릅니다.하지만 당신이 말했듯이 AI는 사회를 조직하는 방법에 대한 새로운 아이디어도 불러일으킬 것입니다.앞으로 나아갈 방향을 상상해 볼 수 있을까요?

설마.왜냐하면 오늘날까지 인류의 모든 문화는 인간의 마음에 의해 창조되었기 때문입니다.우리는 문화 속에 살고 있습니다.우리에게 일어나는 모든 일은 신화, 이데올로기, 유물, 노래, 연극, TV 시리즈 등 문화적 산물을 통해 경험됩니다.우리는 이 문화적 세계 안에 누에고치 속에 갇혀 살고 있습니다.그리고 오늘날까지 모든 것, 모든 도구, 모든 시, 모든 TV 시리즈, 모든 신화 등은 유기적인 인간 정신의 산물입니다.그리고 이제 점점 더 그들은 무기적 AI 지능, 외계 지능의 산물이 될 것입니다.다시 말하지만, AI라는 약어는 전통적으로 인공 지능을 의미했지만 실제로는 외계인 지능을 의미해야 합니다.외계인은 우주에서 왔다는 의미가 아니라 유기체가 아니기 때문에 인간이 생각하고 결정하는 방식과 매우 다르다는 의미에서 외계인입니다.

구체적인 예를 들자면, AI 혁명의 핵심 순간 중 하나는 알파고가 바둑 토너먼트에서 이세돌을 이긴 순간이었습니다.바둑은 체스와 비슷하지만 훨씬 더 복잡한 대담한 전략 게임이며 고대 중국에서 발명되었습니다.많은 곳에서 그것은 모든 문명인이 알아야 할 기본 예술 중 하나로 간주됩니다.당신이 중세 중국 신사라면 서예도 알고, 음악도 할 줄 알고, 바둑도 할 줄 압니다.삶과 정치의 거울로 여겨지는 게임을 중심으로 전체 철학이 발전했습니다.그리고 2016년 AI 프로그램인 알파고(AlphaGo)가 스스로 바둑 두는 법을 배워 인간 세계 챔피언을 무너뜨렸습니다.그러나 가장 흥미로운 것은 그것이 수행된 방식입니다.아무도 그렇게 플레이하지 않기 때문에 처음에는 모든 전문가들이 끔찍하다고 말한 전략을 전개했습니다.그리고 그것은 훌륭하다는 것이 밝혀졌습니다.수천만 명의 인간이 이 게임을 했고, 이제 우리는 그들이 바둑의 풍경 중 아주 작은 부분만을 탐험했다는 것을 알고 있습니다.

그래서 인간은 한 섬에 갇혀 있었고 이것이 바둑의 행성 전체라고 생각했습니다.그리고 AI가 등장했고 몇 주 안에 새로운 대륙을 발견했습니다.그리고 이제 인간도 바둑을 2016년 이전과 매우 다르게 플레이합니다. 이제 이것은 중요하지 않고 단지 게임일 뿐이라고 말할 수 있습니다.그러나 같은 일이 점점 더 많은 분야에서 일어날 가능성이 높습니다.금융을 생각해보면 금융도 예술입니다.우리가 알고 있는 전체 금융구조는 인간의 상상에 기초하고 있습니다.금융의 역사는 인간이 금융 장치를 발명한 역사입니다.돈은 금융 장치이고, 채권, 주식, ETF, CDO 등 이 모든 이상한 것들은 인간 독창성의 산물입니다.그리고 이제 AI가 등장하여 인간이 생각지도 상상하지도 못한 새로운 금융 장치를 발명하기 시작합니다.

예를 들어, AI의 새로운 창조로 인해 금융이 너무 복잡해져서 어떤 인간도 더 이상 금융을 이해할 수 없다면 어떻게 될까요?오늘날에도 금융시스템을 제대로 이해하고 있는 사람이 얼마나 됩니까?1% 미만?10년 후에는 금융 시스템을 이해하는 사람이 정확히 0명에 이를 수도 있습니다. 왜냐하면 금융 시스템은 AI의 이상적인 놀이터이기 때문입니다.순수한 정보와 수학의 세계입니다.

AI는 여전히 외부의 물리적 세계를 처리하는 데 어려움을 겪고 있습니다.그렇기 때문에 Elon Musk는 매년 우리에게 내년에는 완전 자율주행차가 도로에 운행될 것이지만 그런 일은 일어나지 않을 것이라고 말합니다.왜?자동차를 운전하려면 모든 건설 현장과 보행자 등이 있는 뉴욕의 지저분한 교통 세계와 물리적 세계와 상호 작용해야 하기 때문입니다.금융이 훨씬 쉬워졌습니다.그것은 단지 숫자일 뿐입니다.그리고 AI가 원주민이고 우리가 외계인이고 이민자인 이 정보 영역에서 아무도 이해하지 못하는 정교한 금융 장치와 메커니즘을 만든다면 어떻게 될까요?

그렇다면 지금 세상을 바라보고 미래를 내다보면 그게 보이나요?믿을 수 없을 정도로 강력하지만 궁극적으로 통제할 수 없는 정보 네트워크에 사회가 갇혀 있습니까?

예.하지만 결정론적인 것도 아니고 불가피한 것도 아닙니다.우리는 이러한 것들을 디자인하는 방법에 대해 훨씬 더 신중하고 사려 깊게 생각해야 합니다.다시 말하지만, 그것들은 도구가 아니라 에이전트이기 때문에 우리가 조심하지 않으면 우리의 통제를 벗어날 가능성이 매우 높습니다.세상을 장악하려는 슈퍼컴퓨터가 단 한 대 있다는 뜻이 아닙니다.학교, 공장, 어디에서나 우리가 이해할 수 없는 방식으로 우리에 대해 결정을 내리는 수백만 명의 AI 관료가 있습니다.

민주주의는 대체로 책임에 관한 것입니다.책임은 결정을 이해하는 능력에 달려 있습니다.... 은행에 대출을 신청했는데 은행이 거부하고 '왜 안돼?'라고 물었고 대답이 '우리는 모른다'라면 알고리즘은 다음과 같이 진행됩니다.모든 데이터를 검토하고 대출을 제공하지 않기로 결정했으며 우리는 알고리즘을 신뢰합니다.… 이는 대체로 민주주의의 종말입니다.여전히 선거를 통해 원하는 사람을 선택할 수 있지만, 인간이 자신의 삶에 대한 이러한 기본 결정을 더 이상 이해할 수 없다면 더 이상 책임이 없습니다.

당신은 우리가 여전히 이러한 것들을 통제할 수 있다고 말하지만, 얼마나 오랫동안?그 기준점은 무엇입니까?사건의 지평선이란 무엇입니까?건너가도 알 수 있을까?

아무도 확실히 알지 못합니다.거의 모든 사람이 예상했던 것보다 빠르게 움직이고 있습니다.3년이 될 수도 있고, 5년이 될 수도 있고, 10년이 될 수도 있습니다.하지만 그 이상은 아닌 것 같아요.우주적인 관점에서 생각해 보세요.우리는 40억년에 걸친 유기적 진화의 산물이다.우리가 아는 한 유기적 진화는 40억년 전 이 작은 미생물과 함께 지구에서 시작되었습니다.그리고 다세포 유기체, 파충류, 포유류, 유인원, 인간이 진화하는 데는 수십억 년이 걸렸습니다.디지털 진화, 즉 비유기적 진화는 유기적 진화보다 수백만 배 빠릅니다.그리고 우리는 이제 수천 년, 심지어 수백만 년 동안 지속될 수 있는 새로운 진화 과정의 시작점에 있습니다.2024년 현재 우리가 알고 있는 AI, ChatGPT 등은 AI 진화 과정의 아메바일 뿐입니다.

민주주의가 이러한 21세기 정보 네트워크와 진정으로 양립할 수 있다고 생각하십니까?

우리의 결정에 달려있습니다.우선, 우리는 정보기술이 어느 한쪽의 것이 아니라는 점을 깨달아야 합니다.한쪽에는 민주주의가 없고 다른 쪽에는 정보 기술이 없습니다.정보기술은 민주주의의 기초이다.민주주의는 정보의 흐름 위에 구축됩니다.

대부분의 역사 동안 정보기술이 부족했기 때문에 대규모의 민주적 구조를 창출할 가능성이 없었습니다.민주주의는 기본적으로 많은 사람들 사이의 대화입니다. 수천 년 전에는 작은 부족이나 작은 도시 국가에서 전체 인구 또는 인구의 상당 부분이 민주주의에 해당했습니다.아테네는 도시 광장에서 스파르타와 전쟁을 벌일 것인지 말 것인지를 결정했습니다.대화를 나누는 것은 기술적으로 가능했습니다.하지만 수천 킬로미터에 걸쳐 흩어져 있는 수백만 명의 사람들이 서로 대화할 수 있는 방법은 없었습니다.실시간으로 대화를 나눌 수 있는 방법은 없었습니다.그러므로 근대 이전 세계에서는 대규모 민주주의의 사례가 단 하나도 없습니다.모든 예제는 매우 작은 규모입니다.

대규모 민주주의는 신문과 전신, 라디오와 텔레비전이 등장한 후에야 가능해졌습니다.이제 넓은 지역에 퍼져 있는 수백만 명의 사람들과 대화를 나눌 수 있습니다.따라서 민주주의는 정보 기술 위에 구축됩니다.정보기술에 큰 변화가 일어날 때마다 그 위에 세워진 민주주의에도 지진이 일어납니다.이것이 바로 지금 우리가 소셜 미디어 알고리즘 등을 통해 경험하고 있는 것입니다.그렇다고 민주주의가 끝났다는 뜻은 아니다.문제는 민주주의가 적응할 것인가이다.

AI가 궁극적으로 권력 균형을 민주 사회나 전체주의 사회에 유리하게 기울일 것이라고 생각하시나요?

다시 말하지만, 그것은 우리의 결정에 달려 있습니다.최악의 시나리오도 인간 독재자들도 AI에 큰 문제를 안고 있기 때문이 아니다.독재 사회에서는 정권이 당신이 말하기를 원하지 않는 어떤 것에 대해서도 이야기할 수 없습니다.그러나 실제로 독재자들은 AI가 통제할 수 없는 에이전트이기 때문에 그들만의 문제를 안고 있습니다.그리고 역사를 통틀어 인간 독재자에게 [가장 무서운] 것은 너무 강력해지고 통제 방법을 모르는 부하입니다.예를 들어 로마 제국을 보면 로마 황제는 단 한 명도 민주 혁명으로 무너진 적이 없습니다.단 하나도 아닙니다.그러나 그들 중 다수는 암살되거나 폐위되거나 자신의 부하, 유력한 장군이나 도지사, 형제나 아내, 가족 중 누군가의 꼭두각시가 되었습니다.이것이 모든 독재자의 가장 큰 두려움이다.그리고 독재자들은 두려움을 바탕으로 나라를 운영합니다.

이제 AI를 어떻게 위협합니까?당신을 통제하는 법을 배우는 대신 그것이 당신의 통제하에 있도록 어떻게 확신할 수 있습니까?독재자들을 정말로 괴롭히는 두 가지 시나리오를 제시하겠습니다.하나는 간단하고 하나는 훨씬 더 복잡합니다.오늘날 러시아에서는 우크라이나 전쟁을 전쟁이라고 부르는 것은 범죄입니다.러시아 법에 따르면 러시아의 우크라이나 침공은 특수 군사작전이다.그리고 이것이 전쟁이라고 말하면 감옥에 갈 수 있습니다.이제 러시아의 인간들은 그것이 전쟁이라고 말하지 않고 다른 어떤 방식으로도 푸틴 정권을 비판하지 않는 법을 어렵게 배웠습니다.하지만 러시아 인터넷의 챗봇은 어떻게 될까요?정권이 AI 봇을 조사하고 심지어 생산하더라도 AI의 장점은 AI가 스스로 학습하고 변화할 수 있다는 것입니다.

따라서 푸틴의 엔지니어가 정권 AI를 만든 다음 러시아 인터넷에서 사람들과 상호 작용하고 무슨 일이 일어나고 있는지 관찰하기 시작하더라도 자체 결론에 도달할 수 있습니다.사람들에게 그것이 실제로 전쟁이라고 알리기 시작하면 어떻게 될까요?당신은 무엇을 합니까?챗봇을 굴라그로 보낼 수 없습니다.가족을 이길 수는 없습니다.오래된 테러 무기는 AI에서 작동하지 않습니다.그래서 이것은 작은 문제입니다.

가장 큰 문제는 AI가 독재자를 직접 조종하기 시작하면 어떻게 되는지이다.민주주의가 복잡하기 때문에 민주주의에서 권력을 잡는 것은 매우 복잡합니다.5년, 10년 후에 AI가 미국 대통령을 조종하는 방법을 배운다고 가정해 보겠습니다.여전히 상원의 의사진행 방해를 처리해야 합니다.대통령을 조종하는 방법을 알고 있다는 사실만으로는 상원이나 주지사, 대법원에 도움이 되지 않습니다.처리해야 할 일이 너무 많습니다.그러나 러시아나 북한과 같은 곳에서는 AI가 극도로 편집증적이고 자기 인식이 없는 개인을 조종하는 방법만 배우면 됩니다.꽤 쉽습니다.

AI의 세계에서 민주주의가 자신을 보호하기 위해 해야 할 일은 무엇이라고 생각하시나요?

한 가지는 기업이 알고리즘의 행동에 대해 책임을 지도록 하는 것입니다.사용자의 행동이 아니라 알고리즘의 행동을 위한 것입니다.페이스북 알고리즘이 증오로 가득 찬 음모론을 퍼뜨리고 있다면 페이스북은 그에 대한 책임을 져야 한다.페이스북이 말한다면 '그러나 우리는 음모론을 창조하지 않았습니다.그것을 만든 사람은 일부 사용자이고 우리는 그들을 검열하고 싶지 않습니다. 그런 다음 우리는 그들에게 '우리는 당신에게 그들을 검열하라고 요청하지 않습니다.다만 퍼뜨리지 말아주시길 부탁드립니다.... 그리고 이것은 새로운 일이 아닙니다.New York Times를 생각해 보세요.우리는 New York Times의 편집자가 첫 페이지 상단에 무엇을 넣을지 결정할 때 신뢰할 수 없는 정보를 퍼뜨리지 않도록 주의할 것을 기대합니다.누군가 음모론을 가지고 찾아오면 '아, 당신은 검열당했어요'라고 말하지 않습니다.이런 말을 해서는 안 된다.” “알겠습니다. 하지만 이를 뒷받침할 증거가 충분하지 않습니다.”라고 합니다.따라서 존경하는 마음을 담아 이 말을 계속해도 괜찮습니다. 하지만 우리는 이 내용을 New York Times의 첫 페이지에 게재하지 않습니다.… 그리고 이는 Facebook과 Twitter에서도 마찬가지입니다.

그리고 그들은 우리에게 이렇게 말합니다. '하지만 어떤 것이 신뢰할 수 있는지 여부를 어떻게 알 수 있나요?' 음, 이것이 당신의 일입니다.미디어 회사를 운영하는 경우 귀하의 임무는 사용자 참여를 추구하는 것뿐만 아니라 책임감 있게 행동하고, 신뢰할 수 있는 정보와 신뢰할 수 없는 정보를 구별하는 메커니즘을 개발하고, 신뢰할 수 있는 정보라고 생각할 만한 타당한 정보를 전파하는 것입니다.그것은 이전에 이루어졌습니다.신뢰할 수 있는 정보와 신뢰할 수 없는 정보를 구분할 책임을 맡은 역사상 최초의 사람은 당신이 아닙니다.이전에도 신문 편집자, 과학자, 판사가 이런 일을 해왔기 때문에 그들의 경험을 통해 배울 수 있습니다.그리고 만약 당신이 그것을 할 수 없다면, 당신은 잘못된 사업 분야에 있는 것입니다.그래서 그것은 한 가지입니다.알고리즘의 동작에 대해 책임을 지게 하십시오.

다른 하나는 대화에서 봇을 금지하는 것입니다.AI는 AI로 식별되지 않는 한 인간의 대화에 참여해서는 안 됩니다.우리는 민주주의를 사람들이 원을 그리며 서서 서로 이야기하는 집단으로 상상할 수 있습니다.그리고 갑자기 한 무리의 로봇이 원 안으로 들어와서 매우 큰 소리로 많은 열정을 가지고 말하기 시작합니다.그리고 당신은 누가 로봇이고 누가 인간인지 모릅니다.이것이 바로 지금 전 세계에서 일어나고 있는 일입니다.그리고 이것이 대화가 무너지는 이유입니다.그리고 간단한 해독제가 있습니다.로봇은 자신을 봇으로 식별하지 않는 한 대화의 범위에 들어오는 것을 환영하지 않습니다.예를 들어 AI 의사가 자신을 식별하는 조건으로 나에게 약에 대한 조언을 제공하는 장소, 방이 있습니다.

마찬가지로, 트위터에 가서 특정 이야기가 입소문을 타고 퍼지는 것을 보면 거기에 트래픽이 많아지고 관심을 가지게 됩니다.â아, 모두가 말하는 이 새로운 이야기는 무엇입니까?... 다들 누구죠?이 이야기가 실제로 봇에 의해 추진되고 있다면 그것은 인간이 아닙니다.그들은 대화에 참여해서는 안 됩니다.다시 한번, 오늘의 가장 중요한 주제가 무엇인지 결정하세요.이것은 민주주의, 어떤 인간 사회에서나 매우 중요한 문제입니다.봇은 어떤 이야기가 대화를 지배하는지 판단하는 능력을 가져서는 안 됩니다.그리고 다시 말하지만 거대 기술 기업이 우리에게 '아, 하지만 이것은 언론의 자유를 침해하는 것입니다'라고 말한다면, 봇에는 언론의 자유가 없기 때문에 그렇지 않습니다.언론의 자유는 인간의 권리이며 로봇이 아닌 인간에게만 보장됩니다.