프롤로그
• 지난 10만 년 동안 우리 사피엔스는 실로 막대한 힘을 갖게 되었다. 우리가 해낸 발견, 발명, 정복을 나열하는 것만으로도 책을 쓸 수 있을 정도다. 하지만 힘은 지혜가 아니라서, 10만 년 동안 발견하고 발명하고 정복한 후 인류는 스스로를 실존적 위기에 밀어 넣었다. 즉 우리는 생태적 붕괴 직전에 있는데, 이는 우리가 가진 힘을 오용한 탓이다. 또한 우리는 인공지능과 같은 새로운 기술을 만들어내는 데 여념이 없는데, 이런 기술들은 우리의 통제를 벗어나 우리를 노예로 만들거나 전멸시킬지도 모른다. 하지만 우리 종은 이런 실존적 위협에 대처하기 위해 힘을 합칠 생각이 없어 보인다.
• 우리는 정녕 지혜로운 사람이라면, 왜 이토록 자기 파괴적일까?
근본적인 수준에서 보면, 우리는 DNA 분자부터 먼 은하까지 모든 것에 대해 수많은 정보를 축적했지만 이 정보들은 인생의 큰 질문들에 답을 주지 못하는 것 같다. 우리는 누구인가? 무엇을 추구해야 하는가? 잘 사는 게 무엇인가? 어떻게 살아야 하는가? 우리가 이용할 수 있는 정보는 이렇게나 많은데도 우리는 환상과 망상에 우리 조상들만큼이나 쉽게 빠진다. 나치즘과 스탈린주의는 인류 사회를 집어삼킨 수많은 집단 광기 중 두 가지 최근 사례에 불과하며, 현대 사회조차 예외가 아니다. 오늘날 인간이 석기시대 인간보다 훨씬 더 많은 정보와 힘을 보유하고 있다는 사실에는 아무도 이의를 제기하지 않지만, 우리가 우리 존재와 우주에서의 우리 역할을 훨씬 잘 이해하고 있는지는 의문이다.
• 왜 우리는 정보와 힘을 축적하는 데는 이렇게 뛰어나면서 지혜를 얻는 데는 그다지 성공하지 못했을까 역사를 통틀어 많은 종교적, 철학적 전통의 공통된 믿음은, 인간 본성에 치명적인 결함이 있어서 우리가 제어할 수 없는 힘을 가지려는 유혹에 빠진다는 것이다.
• 통제할 수 없는 힘을 함부로 불러내면 안 된다.
• 개인의 심리적 결함이 힘을 남용하게 만든다. 이 단순한 분석은 인간의 힘이 개인의 노력만으로 얻어진 결과가 아니라는 점을 간과한다. 힘은 항상 많은 사람들이 협력할 때 나온다. 통제할 수 없는 힘을 불러내는 인간의 경향은 개인 심리에서 나오는 게 아니라 대규모로 협력하는 우리 종의 독특한 특징에서 비롯한다. 이 책의 핵심 논지는, 인간은 대규모 협력 네크워크를 구축함으로써 막대힘을 얻지만 바로 네트워크를 구축하는 그 방식 때문에 애초에 힘을 지혜롭게 사용하기가 쉽지 않다는 것이다. 즉 우리의 문제는 네크워크 문제다.
더 구체적으로는 정보 문제다. 정보는 네크워크를 하나로 결속시키는 접착제다. 하지만 사피엔스는 수만년 동안 신, 마법에 걸린 빗자루, AI 같은 것들에 대한 허구, 환상, 집단 망상을 꾸며내고 퍼뜨리는 방법으로 대규모 네크워크를 구축하고 유지해왔다. 인간 개개인은 자신과 세상에 대한 진실을 추구하는 경향이 있어도, 대규모 네크워크는 허구와 환상에 의존하여 사회 구성원들을 묶고 질서를 유지한다.
• 우리가 망상에 기반한 네크워크와 힘을 과소평가 하게 되는 이유는 대규모 정보 네크워크가 작동하는 방식에 대한 널리 퍼진 오해 때문이다. 이런 오해를 나는 한마디로 '정보에 대한 순진한 관념'이라고 부른다.
• 순진한 정보관은 전체 그림의 일부만 본다.
• 지혜는 흔히 '올바른 결정을 내리는 것'을 의미하지만, 무엇이 '올바른' 것인지는 사람, 문화, 이념에 따라 다를 수 있다.
• 정보가 더 많으면 상황이 나아질까? 아니면 더 나빠질까? 우리는 머지않아 알게 될 것이다.
• AI 경고의 시나리오
1. AI의 힘은 기존의 인간 갈등을 증폭하여 인류를 분열시킬 가능성
2.실리콘 장막은 인간을 한 집단과 다른 집단으로 분리하는 것이 아니라 모든 인간을 새로운 지배자 AI와 분리될 가능성
• AI는 스스로 결정을 내리고 스스로 새로운 아이디어를 구상할 수 있는 역사상 최초의 기술임을 명심해야 한다. 이제껏 인간이 만든 발명품들이 인간에게 힘을 실어준 이유는 새로운 도구가 아무리 강력해도 그것을 어디에 쓸지 결정하는 것은 항상 인간의 몫이었기 때문이다. 칼과 폭탄은 누구를 죽일지 스스로 결정하지 않는다. 그것들은 정보를 처리하고 독립적인 결정을 내리는 데 필요한 지능을 갖추지 못한 바보 도구일뿐이다. 반면 AI는 스스로 정보를 처리할 수 있고 따라서 인간을 대신하여 결정을 내릴 수 있다. AI는 도구가 아니라 행위자다.
• AI 혁명의 초기 단계인 지금 이 순간에도 컴퓨터는 이미 우리에게 대출을 해줄지, 우리를 직장에 고용할지, 교도소에 보낼지와 같은 결정을 내린다. 이런 추세는 앞으로 더욱 강화되고 가속화될 것이고, 그러면 우리는 자신의 삶을 이해하기가 더욱 어려워질 것이다. 과연 컴퓨터 알고리즘이 지혜로운 결정을 내리고 더 나은 세상을 만들 것이라고 믿을 수 있을까? 그것은 빗자루에 주문을 걸면 물을 길어 올 것이라는 믿음보다 훨씬 더 위험한 도박이다. 그리고 이 도박에 우리가 거는 것은 단지 인간의 삶만이 아니다. AI는 우리 종의 역사뿐만 아니라 모든 생명 형태의 진화 경로를 바꿀 가능성이 있다.
• 역사의 진짜 주인공은 호모 사피엔스가 아니라 언제나 정보였다. <호모 데우스>에서 나는 인간은 조심하지 않으면 거센 강물 속의 흙덩어리처럼 정보의 급류에 휩쓸려 허물어질 것이며, 결국 인류는 우주의 데이터 흐름 속의 잔물결에 불과했던 존재로 판명 날지도 모른다는 견해를 제시했다.
• 극단적인 형태의 포퓰리즘은 객관적 진실을 존재하지 않으며 모든 사람은 각자 '자기만의 진실'을 가지고 그것을 경쟁자를 항복시키기 위한 무기로 사용한다고 가정한다. 이 세계관에 따르면, 권력이 유일한 현실이다. 인간은 오직 권력에만 관심이 있기 때문에 모든 사회적 상호작용은 권력투쟁이다. 진실이나 정의 등 다른 것에 관심이 있다는 주장은 권력을 얻기 위한 계략에 지나지 않는다. 포퓰리즘이 정보를 무기로 보는 관점을 유포하는 데 성공할 때마다 언어가 훼손된다. '사실' '정확한' '진실한' 같은 단어들은 의미가 모호해진다. 이 단어들은 더 이상 공통의 객관전 현실을 가리키지 않는다. 오히려 '사실'이나 '진실'에 대한 이야기를 나눌 때 적어도 일부 사람들에게 '지금 누구의 사실, 누구의 진실을 말하고 있나요?'와 같은 질문을 하게 만든다. 따라서 누군가가 무슨 말을 할 때마다 던져야 할 질문은 '무슨 말입니까? 그게 사실입니까?'가 아니라 '누가 그렇게 말합니까? 누구의 특권을 위한 것입니까?'이다.
• 권력이 유일한 현실이고 정보는 무기에 불과하다면?
• 포퓰리즘이 궁지에서 빠져나오기 위해 동원하는 방법
1. 자신들이 현대 과학의 이상과 회의적인 경험주의 전통을 따른다고 주장한다. 이들은 사람들에게 권력을 가진 기고나이나 인물을 절대 신뢰해서는 안 된다고 말한다. 그 대신 직접 연구하고 자기 눈으로 직접 확인할 수 있는 것만 믿어야 한다. 이런 급진적인 경험주의 입장은 정당, 법원, 신문, 대학과 같은 대규모 기관은 신뢰할 수 없는 반면 노력하는 개인은 스스로 진실을 찾을 수 있다고 암시한다.
2. 연구를 통해 진실을 찾으려는 현대 과학의 이상을 포기하고 대신 신의 계시나 신비주의에 의존하는 시대로 돌아가는 것이다.
• 역사는 과거를 연구하는 것이 아니라 변화를 연구하는 것이다. 역사는 우리에게 무엇이 그대로이고, 무엇이 변하며, 어떻게 변하는지 가르쳐준다. 역사는 결정되어 있지 않으며 미래의 모습은 우리가 앞으로 어떤 선택을 하느냐에 달려 있다. 이 책의 핵심 목적은 우리가 정보에 입각한 선택을 함으로써 최악의 결과를 막을 수 있다는 점을 보여주는 것이다. 미래를 바꿀 수 없다면 미래를 논하는 데 시간을 낭비할 필요가 있을까?
제1부 인간 네트워크들
1 정보란 무엇인가?
• 어떤 사물이든 정보가 될 수도 있고, 되지 않을 수도 있다. 정보가 무엇인지 정의하는 것이 어려운 이유다.
• 그렇다면 정확히 어떤 맥락에서 그런 사물들이 '정보'로 정의될까? 순진한 정보관은 진실 추구라는 맥락에서 사물이 정보로 정의된다고 주장한다. 사물들이 그것을 이용해 진실을 알아내려고 시도하면 그것은 정보다. 이 정보관은 정보 개념을 진실 개념과 연결하고, 정보의 주된 역할이 현실 재현이라고 생각한다. 순진한 정보관은 정보가 현실을 재현하려는 시도이며 이 시도가 성공할 때 우리는 그것을 진실이라고 부른다고 주장한다. 이 책에서 나는 순진한 정보관에 대해 많은 문제를 제기하지만, 진실이 현실을 표현하는 것이라는 점에서는 동의한다. 하지만 이 책의 입장은 정보의 대부분은 현실을 재현하려는 시도가 아니며 정보를 정의하는 기준은 완전히 다른 무언가라는 것이다. 인간 사회는 물론 다른 생물 시스템과 물리적 시스템에서도 정보의 대부분은 아무것도 나타내지 않는다.
• '진실'은 현실의 특정 측면을 정확하게 나타내는 무언가를 뜻한다. 진실이라는 개념의 기저에는 하나의 보편적인 현실이 존재한다는 전제가 깔려 있다. 지금까지 존재했거나 앞으로 존재할 무언가는 이 단일한 현실의 일부다. 따라서 진실 찾기는 보편적 프로젝트다. 사람, 국가, 문화에 따라 다양한 신념과 감정을 지닐 수는 있지만, 모두가 보편적인 현실을 공유하므로 진실은 오직 하나뿐이어야 한다. 보편주의를 거부하는 사람은 진실을 거부하는 것이다. 그럼에도 불구하고 진실과 현실은 다르다. 어떤 진술이 아무리 진실에 충실하다 해도 현실의 모든 측면을 표현할 수는 없기 때문이다.
• 현실을 표현하려고 시도할 때 생기는 또 하나의 문제는 현실을 바라보는 관점이 여러 가지라는 것이다. 물론 별개의 현실이 여러 개 존재한다는 말은 아니다. 역사적 사실은 존재하지 않는다는 말도 아니다. 단 하나의 현실이 존재하지만 그것이 복잡하다는 뜻이다.
• 현실을 최대한 사실 그대로 기술해도 현실을 온전히 담아낼 수 없다는 뜻이다. 모든 재현에는 무시되거나 왜곡되는 측면이 있기 마련이다. 따라서 진실은 현실을 1대1 비율로 재현하는 것이 아닏다. 오히려 진실은 현실의 특정 측면을 알리고 다른 측면은 어쩔 수 없이 무시하는 것이다. 현실에 대한 어떤 기술도 100퍼센트 정확하지 않지만, 그럼에도 불구하고 일부 기술은 다른 것들보다 진실에 가깝다.
• 오정보는 누군가가 현실을 재현하려다가 어긋났을 때 발생하는 정직한 실수다.
• 허위정보는 누군가가 현실에 대한 우리의 시각을 의식적으로 왜곡하려 할 때 발생하는 고의적인 거짓말이다.
순진한 정보관은 나아가 오정보와 허위 정보가 초래하는 문제에 대한 해결책은 더 많은 정보라고 믿는다. 이 책의 이 중요한 문제에 대한 순전한 정보관의 주장에 강력히 반대하는 입장이다.
• 정보의 결정적인 특징은 재현이 아니라 연결이며, 따라서 정보란 서로 다른 지점들을 네크워크로 연결하는 무언가다. 정보가 꼭 어떤 것들에 대해 무언가를 알릴 필요는 없다. 오히려 정보는 서로 다른 것들을 무언가로 묶는 역할을 한다.
• DNA 오류는 현실을 정확하게 나타내는 데 실패했다는 뜻이 아니라, 단순히 DNA 복제 과정에서 발생하는 돌연변이를 가리키는 것이다. DNA 복제 오류가 적합도를 떨어뜨리기만 하는 것은 아니라는 점이 중요하다. 어쩌다 한 번 씩은 적합도를 높인다. 그런 돌연변이가 없다면 진화 과정은 일어나지 않을 것이다. 모든 생명 형태는 유전자 '오류' 덕분에 존재한다. 진화라는 기적이 일어날 수 있는 것은 DNA가 현존하는 현실을 재현하지 않고 새로운 현실을 만들어내기 때문이다. 때로는 정확하게든 허위로든 현실을 전혀 재현하지 않는 정보도 네크워크를 연결할 수 있다. 유전 정보가 수조 개 세포를 연결하거나 강동적인 음악 작품이 수천 명의 사람들을 연결할 때가 그런 경우다.
• 정보는 현실을 재현하기도 하고 재현하지 않기도 한다. 하지만 정보는 항상 연결한다. 이것이 정보의 근본적인 특징이다. 따라서 역사에서 정보가 어떤 역할을 했는지 조사할 때 우리는 '현실을 얼마나 잘 표현하는가? 진실인가 거짓인가? 를 물어야 할 때도 있지만, 대개 더 중요한 질문은 '사람들을 얼마나 잘 연결하는가? 어떤 새로운 네크워크를 만들어내는가?'이다.
• 사피엔스의 성공 비결은 정보를 활용하여 많은 개인을 연결하는 일에 탁월한 재능을 발휘한 것이다.
2 이야기: 무한한 연결
• 사피엔스가 세상을 지배하는 것은 우리가 지혜로워서가 아니라 대규모로 유연하게 협력할 수 있는 유일한 동물이기 때문이다. 사피엔스 무리들 사이의 협력이 가능해진 것은 허구적 이야기를 말하고, 믿고, 그런 이야기게 깊이 감동받을 수 있게 되면서부터였다.
• 현실
1) 객관적 현실 : 우리가 그 존재를 알든 모르든 관계없이 존재하는 것들
2) 주관적 현실 : 우리가 그것을 인지하는 순간 생기는 것들
3) 상호주관적 현실 : 사람들이 서로에게 말하는 이야기 속에 존재하는 것들
상호주관적 현실에 대해 주고 받는 정보는 정보 교환 전부터 존재하던 무언가를 나타내지 않는다. 오히려 정보를 교환할 때 상호주관적 현실이 생긴다. 이야기의 모든 장르 중에서 상호주관적 현실을 만들어내는 이야기가 대규모 인간 네트워크를 구축하는 데 가장 중요했다. 이야기는 가짜 기억을 심고 허구적 관계를 형성하고 상호주관적 현실을 창조하는 것을 통해 대규모 인간 네트워크를 짰다.
• 이야기를 연결 장치로 이해하면 우리 종의 힘이 어디서 나오는지 알 수 있고, 왜 힘이 커진다고 지혜도 함께 커지지 않는지도 설명할 수 있다. 정보에 대한 순진한 관점은 정보가 진실로 이어지며 사람들이 진실을 알면 힘뿐 아니라 지혜도 생긴다고 말한다.
• 힘은 진실을 아는 것만으로 얻어지지 않는다.
• 오히려 인간 네크워크를 묶어주는 것은 허구적인 이야기, 그중에서도 특히 돈, 국가와 같은 상호주관적 현실에 대한 이야기들인 경우가 많다. 사람들을 결속시키는 데 허구는 진실에 비해 두 가지 고유한 이점을 가지고 있다.
1. 허구는 얼마든지 간단하게 만들 수 있지만 진실을 대체로 복잡하다.
2. 진실을 고통스럽고 불편한 경우가 많은데 그렇다고 그것을 편안하고 듣기 좋게 만들면 더 이상 진실이 아니게 된다. 반면 허구는 지어내기 나름이다.
• 플라톤은 <국가>에서 이상적인 국가의 헌법은 '고귀한 거짓말'에 기반해야 한다고 상상했다. 고귀한 거짓말은 사회질서의 기원에 대한 허구적 이야기로, 시민의 애국심을 확보하고 헌법에 의문을 품지 못하게 만든다.
• 정보는 진실의 원재료가 아니며, 인간의 정보 네크워크는 진실을 발견하는 것만이 목표가 아니다. 인간의 정보 네크워크가 성공하기 위해서는 진실 발견과 질서 유지라는 두 가지 일을 동시에 해야 한다.
• 정보가 많다고 해서 진실이나 질서가 보장되는 것은 아니다. 정보를 사용하여 진실을 발견하는 동시에 질서를 유지하는 것은 쉬운 일이 아니다. 설상가상으로, 허구를 통해 질서를 유지하는 것이 더 쉽기 때문에 두 과정은 종종 충동한다. - 즉 무지가 힘이 된다.
• 네크워크가 진실보다 질서를 우선시할 경우 막강한 힘을 가질 수 있지만 그 힘을 지혜롭게 사용하지 못하기 쉽다.
3 문서: 종이호랑이의 위협
• 이야기는 인간이 개발한 최초의 중요한 정보 기술이었다. 이야기는 인간이 대규모로 협력할 수 있는 토대를 마련했으며, 인간을 지구상에서 가장 강한 동물로 만들어주었다.
• 목록이 가진 큰 문제점이자 이야기와 결정적으로 다른 점은 목록은 이야기보다 훨씬 지루한 경향이 있다는 것이다. 그래서 우리는 이야기는 쉽게 기억해도 목록은 기억하기 어려워한다. 이것은 인간 뇌의 정보 처리 방식과 관련이 있는 중요한 사실이다. 우리 뇌는 아무리 많은 양의 정보도 이야기 형태로 만들면 쉽게 흡수하고 기억하고 처리하도록 진화했다.
• 사실이든 거짓이든 문서는 새로운 현실을 만들어냈다. 뇌 용량이 인간이 창조할 수 있는 상호주관적 현실의 종류를 제한했다. 인간은 뇌가 기억할 수 없는 상호주관적 현실은 만들 수 없었다. 하지만 문서를 작성함으로써 이런 한계를 넘을 수 있었다. 문서는 객관적인 경험적 현실을 나타내지 않았고, 오히려 문서 자체가 현실이었다. 문서는 결국 컴퓨터가 사용하게 될 선례와 모델을 제공했다. 상호주관적 현실을 만들어내는 컴퓨터의 힘은 따지고 보면 점토판과 종이가 가진 힘의 연장이다.
• 관료제는 말 그대로 '책상에 의한 통치'라는 뜻이다. 관료제는 세상을 있는 그대로 이해하는 데 초점을 맞추는 대신, 세상에 새로운 인위적 질서를 도입하는 데 몰두한다.
• 신화와 관료제는 모두 대규모 사회를 떠받치는 두 개의 기둥이다. 하지만 신화는 매혹을 불러일이키는 반면 관료제는 의심을 사는 경향이 있다.
• 권력은 다양한 연결을 잇는 교차점을 통제하는 사람들에게 있다.
• 모든 강력한 정보 네크워크는 좋은 일도 나쁜 일도 할 수 있다. 중요한 것은 네크워크를 어떻게 설계하고 사용하는가다. 단순히 네크워크의 정보량이 늘어난다고 해서 네크워크가 이롭게 쓰이는 것은 아니며, 진실과 질서 사이에서 적절한 균형을 맞추는 일이 더 쉬워지는 것도 아니다.
• 정보 네크워크는 진실을 최대화하기보다는 진실과 질서 사이의 균형을 찾으려고 한다. 관료제와 신화는 모두 질서를 유지하는 데 필수적이며, 둘 다 질서를 위해 진실을 기꺼이 희생시킨다.
4 오류: 무오류성이라는 환상
• 모든 종교의 중심에는 오류 없는 초인적 지능과 연결되고자 하는 환상이 자리하고 있다.
• 고대 <성경>은 어떤 두 권도 똑같지 않았다.
• 오류 있는 인간의 제도를 거룩한 책의 기술을 통해 우회하려던 꿈은 결코 실현되지 않았다.
• 교회는 거룩한 책을 해석하려는 권한을 두고 갈등을 겪으며 반복적으로 흔들렸다. 이는 교회의 분열을 가져왔다. 한 예가 서방 카톨릭교회와 동방정교회의 분열이었다.
• 오류 없는 텍스트에 권위를 부여한 결과가 오류를 범하는 억압적인 교회의 등장이라면, 인간의 오류 문제를 어떻게 다루어야 할까? 정보에 대한 순진한 관점은 교회와 정반대되는 정보의 자유 시장이 해결책이라고 생각한다. 즉 정보의 자유로운 흐름을 방해하는 것을 모두 없애면 필연적으로 오류가 드러나고 진실이 그 자리를 대체하게 된다는 것이다.
• 모든 정보는 특정인이 권위를 얻고 사회 전체가 구성원을 규율하는 수단으로 사용되면서 많은 질서와 권력을 생산했다. 하지만 진실과 지혜는 조금도 생산하지 않았다.
• 자유로운 정보 시장에서는 진실보다 분노가 우세할 가능성이 높다. 진실이 승리하려면, 균형추를 팩트 쪽으로 기울일 수 있는 힘을 가진 큐레이션 기관을 설치해야 한다.
• 과학 기관은 기관 자체의 오류를 찾아내 고치는 강력한 자정 장치를 토대로 권위를 얻었다. 과학혁명의 원동력은 인쇄술이 아니라 바로 이런 자정 장치였다. 다시 말해, 과학혁명은 무지를 발견하는 것에서 시작되었다.
• 과학이라는 사업은 무오류성이라는 환상을 버리고 오류를 불가피한 것으로 받아들이는 정보 네크워크를 구축하는 데서 시작한다.
• 과학의 트레이드마크는 무조건적인 회의가 아니라 자기 회의이며, 모든 과학 기관의 중심에는 강력한 자정 장치가 있다.
• 자정 장치는 인간의 정보 네크워크를 오류와 편향으로부터 지켜줄 마법의 탄환일까? 자정 장치는 진실 추구에 필수적이지만 질서 유지 측면에서는 손해이기 때문이다. 강력한 자정 장치는 의구심, 논쟁, 갈등, 분열을 일으키고 사회 질서를 유지하는 신화의 힘을 약화하는 경향이 있다.
• 정보 네크워크의 역사는 항상 진실과 질서 사이의 균형 맞추기였다. 질서를 위해 진실을 희생시키는 데는 대가가 따르듯이, 진실을 위해 질서를 희생시키는 데도 대가가 따른다.
• AI가 민주주의 자정 기능을 강화할지 아니면 약화할지가 AI와 관련한 가장 중요한 질문 중 하나이다.
5 결정: 민주주의와 전체주의의 간략한 역사
• 네로 황제 시대 로마에서 자유는 이상적인 가치가 아니라 정부가 전체주의적 통제를 실행할 능력이 없어서 생긴 부산물이었다.
• 민주주의는 다수에 의한 통치를 뜻하지 않는다. 오히려 모두가 자유와 평등을 누린다는 뜻이다. 민주주의는 아무리 다수라도 빼앗을 수 없는 특정한 자유들을 모두에게 보장하는 제도다. 민주주의에는 다수라도 침해할 수 없는 두 가지 권리 범주가 존재한다. 1) 인권, 2) 시민권
• 선거는 오히려 사람들의 상충하는 욕구를 조정하여 질서를 유지하는 방법이다. 선거는 진실이 무엇인지가 아니라 국민들의 다수가 원하는 것이 무엇인지 확인하는 절차다.
• 우리에게는 항상 여러가지 선택지가 있으며, 그중에서 무엇을 선택하느냐는 진실의 문제가 아니라 욕망의 문제다.
• 진실을 발견하기 위해서는 두 가지 다른 방법에 의존하는 것이 더 낫다.
1. 학술 기관, 언론, 사법부가 자체적으로 갖추고 있는 자정 기능에 의존하는 것
2. 각기 다른 방식으로 진실을 추구하는 독립적인 기관을 여럿 두고 서로를 견제하며 잘못을 바로잡게 하는 것
• 민주주의는 원래 복잡해야 하는 것이기 때문이다. 단순함은 모든 것을 중앙에서 지시하고 모두가 말없이 따르는 독재정보 네크워크의 특징이다. 독재자의 일방적인 독백을 따라가는 것은 쉽다. 반면 민주주의는 수많은 당사자 간의 대화이며 그중 다수는 동시에 말한다. 그런 대화를 따라가기는 쉽지 않다.
• 민주주의는 정보 중앙 외에도 여러 독립적인 채널을 통해 흐르도록 장려하며, 많은 독립적인 노드가 자체적으로 정보를 처리하고 결정을 내릴 수 있다. 따라서 정보는 정부 부처를 거치지 않고, 민간 기업, 민간 언론 기관, 지방자치단체, 스포츠 협회, 자선단체, 가정, 개인 들 사이를 자유롭게 순환한다. 반대로 전체주의에서는 모든 정보가 중앙 허브를 통과해야 하며, 독립적인 기관들이 자체적으로 결정을 내릴 수 없다. 물론 전체주의는 정부, 당, 비밀경찰이라는 삼중 구조로 운영되지만 이런 병렬적 권력 구조의 목적은 오직 하나, 바로 중앙에 도전할 수 있는 독립적인 권력의 출현을 막는 것이다. 정부 관료, 당원, 비밀경찰 요원들이 서로를 지속적으로 감시할 때 중앙에 반대하는 것은 매우 위험한 일이다.
• 질서를 듬뿍 넣고 진실을 약간만 첨가해도 정보 시스템은 잘 굴러갈 수 있다.
• 21세기에 정치가 분열한다면, 민주주의와 전체주의 사이의 분열이 아니라 인간과 비인간 사이의 분열이 될 것이다. 새로운 실리콘 장박은 민주주의 체제를 전체주의 체제와 분리하는 대신, 모든 인류를 불가해한 알고리즘 지배자와 분리할 것이다. 모든 국가의 각계각층 사람들이, 심지어 독재자조차, 우리의 일거수일투족을 감시할 수 있는 낯선 지능에 종속되는 상황에 놓여도 우리는 그 낯선 지능이 무엇을 하는지 제대로 이해하지 못할지도 모른다.
제2부 비유기적 네트워크
6 새로운 구성원: 컴퓨터는 인쇄술과 어떻게 다른가?
• 지금 진행되고 있는 혁명의 씨앗은 컴퓨터다. 인터넷부터 AI까지 다른 모른 것은 부산물이다.
• 결정을 내리고 새로운 아이디어를 생성할 수 있는 지능형 기계의 등장은 역사상 처음으로 힘이 인간에게서 다른 데로 이동하고 있음을 의미한다.
• 우리는 미래에 대한 통제력을 잃을 위험에 놓여 있다. 이질적인 지능의 결정과 목표를 따르는 완전히 새로운 종류의 정보 네크워크가 등장하고 있다. 아직까지는 우리가 이 네크워크에서 중심적인 역할을 한다. 하지만 우리는 서서히 가장자리로 밀려날 수 있으며, 궁극적으로 네크워크는 우리가 없어도 스스로 작동할 수 있을지도 모른다.
• 물론 컴퓨터의 지능이 점점 높아지면 결국에는 의식이 생기고 어떤 종류의 주고나적 경험을 할지도 모른다. 아니면, 컴퓨터가 우리보다 지능은 월등히 높아져도 어떤 종류의 감정을 전혀 갖지는 않을 수도 있다. 우리는 탄소 기반 생명체에서 의식이 어떻게 생겨났는지 모르기 때문에, 비유기적 존재에서 의식이 생길 수 있는지 예측할 수 없다. 어쩌면 의식은 유기적 생화학 메커니즘과는 본질적인 관련이 없을지도 모른다. 그렇다면 의식을 가진 컴퓨터가 머지않은 미래에 나타날 수도 있다. 아니면 초지능에 이르는 여러 경로가 있는데 그중 일부만 의식을 얻는 것인지도 모른다. 비행기가 깃털이 없어도 새보다 빨리 날듯이, 컴퓨터는 감정이 없어도 인간보다 문제를 훨씬 잘 해결할 수 있을지도 모른다.
• 네크워크에는 두 가지 새로운 종류의 사슬이 포함될 것이다. 1) 컴퓨터와 인간이 연결된 사슬, 2) 컴퓨터끼리 상호작용하는 컴퓨터로만 연결된 사슬
• 매일 수십억 명이 거대 기술 기업들과 수많은 거래를 하지만, 은행 계좌로는 거래 사실을 알 수 없다. 돈이 전혀 이동하지 않기 때문이다. 우리는 거대 기술 기업으로부터 정보를 얻고 그 기업들에 정보로 값을 지불한다. 이런 정보 대 정보 모델을 따르는 거래가 많아질수록 정보경제가 성장하고 화폐경제는 위축되며, 그러다 결국에는 돈이라는 개념 자체가 의문시된다.
• 핵심 질문은 이것이다. 새로운 컴퓨터 기반 네트워크에서 점점 더 무력해지는 소수로 살아간다는 것이 인간에게 무엇을 의미할까? 새로운 네크워크는 우리의 정치, 사회, 경제, 일상생활을 어떻게 변화시킬까? 수십억 개의 비인간 존재에게 끊임없이 감시당하고, 지시받고, 영감을 얻고, 제재를 받는 것은 어떤 느낌일까? 이 경악스러운 신세계에 적응하고 거기에 살아남아 번성하기 위해 우리는 어떻게 달라져야 할까?
• 개인용 컴퓨터를 구입할 수 있었던 것은 기술의 여신이 예정해둔 필연적인 운명이 아니라, 개인들의 결정 때문이었다.
• 만일 컴퓨터가 인간과 비슷한 방식으로 결정을 내리고 아이디어를 생성한다면, 컴퓨터는 '새로운 인간'일 것이다.
7 집요하게: 네트워크는 항상 켜져 있다
• 중요한 사실은 데이터의 바다에서 패턴을 찾아내는 능력에서 알고리즘은 인간을 훨씬 능가한다는 것이다. 패턴을 파악하기 위해서는 아이디어를 생성할 수 있는 능력과 결정을 내릴 수 있는 능력 둘 다 필요하다.
• 컴퓨터 네크워크가 사회를 완전히 장악하는 것을 막아야 하는 이유는 단지 휴식을 위해서만이 아니다. 브레이크가 필요한 훨씬 더 중요한 이유는 네크워크를 바로잡을 기회를 갖기 위해서다. 만일 네크워크의 발전이 이대로 계속 가속화된다면, 네크워크의 오류도 우리가 찾아내 바로잡을 수 있는 속도보다 훨씬 빠르게 축적될 것이다. 네크워크는 쉬지 않고 어디에나 존재할 뿐 아니라 오류도 범하기 때문이다.
• 컴퓨터 네크워크가 항상 세상을 정확하게 이해하는 것은 아니다. 정보는 진실이 아니다. 완전한 감시 시스템은 세상과 인간 존재에 대한 대단히 왜곡된 이해를 형성할 수 있다. 네크워크가 세상과 인간에 대한 진실을 발견하는 대신 자신의 막강한 힘을 이용해 새로운 종류의 세계 질서를 만들고 그것을 우리에게 강요할지도 모른다.
8 오류 가능성: 네트워크는 자주 틀린다
• 모든 정보가 여과 없이 흐르도록 내버려두면 진실이 지는 경향이 있다. 저울을 진실 쪽으로 기울이려면, 정보 네크워크가 진실을 말하는 사람에게 보상을 제공하는 강력한 자정 장치를 개발하고 유지해야 한다. 이런 자정 장치는 비용이 많이 들지만, 진실을 얻고 싶다면 반드시 그것에 투자해야 한다.
• '사회적 책임'에 대한 보편적으로 인정되는 정의는 존재하지 않는다.
• 클라우제비츠에게 합리성은 곧 '부합성(정렬)'을 의미한다. 정치적 목표에 부합하지 않는 전술적, 전략적 승리를 추구하는 것은 합리적이지 않다. 그런데 문제는, 군대는 관료주의 성격 때문에 그런 비합리성에 빠지기 쉽다는 것이다. 관료주의는 현실을 별개의 서랍으로 나누는 탓에 더 큰 이익을 해치면서도 좁은 목표를 추구하게 된다. 눈앞에 주어진 임무에 집중하는 관료들은 자신의 행동이 미치는 광범위한 영향을 인지하지 못하기 쉽고, 자신의 행동이 사회의 더 큰 이익에 부합하는지 타져보기도 어렵다.
• 닉 보스트롬의 사고실험
클립 공장에서 초지능 컴퓨터를 한 대 구입하고, 공장 관리자가 컴퓨터에게 클립을 최대한 많이 생산하라는 언뜻 간단해 보이는 업무를 지시한다. 그러자 컴퓨터는 이 목표를 달성하기 위해 지구를 정복하고, 모든 인간을 죽이고, 탐사대를 보내 다른 행성들까지 모조리 점령하더니, 결국 그 어마어마한 자원을 사용해 은하계 전체를 클립 공장으로 가득 채운다.
보스트롬이 지적하고 싶었던 점은 컴퓨터의 문제는 특별히 사악하다는 것이 아니라 특별히 강력하다는 데 있다는 것이었다. 그리고 컴퓨터가 강력해질수록 우리가 컴퓨터의 목표를 정의할 때 궁극적인 목표에 정확히 부합하도록 신중을 기해야 한다는 것이다. 휴대용 계산기에 오정렬된 목표를 설정했다면 큰일은 나지 않는다. 하지만 오정렬된 목표를 초지능 기계에 설정한다면 그 결과는 디스토피아일 수 있다.
• 컴퓨터 네크워크는 우리의 통제를 벗어날 수 있기 때문에 잘못된 목표를 설정할 경우 우리가 그 실수를 발견할 때쯤이면 돌이킬 수 없는 상황이 되어 있을 가능성이 높다. 어떤 사람들은 우리가 사전에 신중한 숙고 과정을 통해 컴퓨터 네트워크를 설정할 올바른 목표를 정의할 수 있을 것이라고 생각할지도 모르지만, 이것은 위험한 착각이다.
• 클라우제비츠의 이론은 모든 행동은 궁극적 목표에 부합해야 한다고 요구하지만 그런 목표를 정의하는 합리적인 방법을 전혀 제시하지 않는다. 클라우제비츠에게 합리성은 부합성을 뜻한다. 전술은 오직 더 높은 전략적 목표에 부합할 경우에만 합리적이고, 전략적 목표는 다시 그보다 더 높은 정치적 목표에 부합해야 한다.
• 왜 나폴레옹이 똑같이 신화의 산물인 프랑스를 본인의 영혼보다 더 신경 써야 하는가?
• 모든 행동이 어떤 더 높은 목표에 부합해야 한다라는 일반적인 경험법칙만을 따를 경우, 궁극적인 목표를 정의할 합리적 방법이 없다. 그렇다면 어떻게 우리가 컴퓨터 네트워크에 절대 무시하거나 왜곡할 수 없는 궁극적인 목표를 설정할 수 있을까? AI개발을 서두르는 기술 기업의 경영진과 개발자들이 혹여 AI에게 궁극적인 목표를 제시할 합리적인 방법이 있다고 생각한다면 큰 실수를 저지르고 있는 것이다.
• '내재적 선'이 정확히 무슨 뜻일까? 칸트는 내재적으로 선한 법칙이란 나 자신이 보편적인 것으로 만들고 싶은 모든 법칙이라고 주장했다. 이 견해에 따르면 누군가를 죽이기로 작정한 사람은 일단 행동을 멈추고 다음과 같은 사고 과정을 거쳐야 한다.
'나는 지금 사람을 죽이려고 한다. 하는 사람을 죽여도 된다는 보편적 법칙을 만들고 싶은가? 그런 보편적 법칙이 생긴다면 누군가가 나를 죽일지도 모른다. 따라서 살인을 허용하는 보편적 법칙은 존재해서는 안 된다. 그렇다면 나도 사람을 죽여서는 안 된다.'
칸트는 오래된 황금률인 '남에게서 바라는 대로 남에게 해주어라(마7:12)'를 재구성한 것이다.
• 아이히만은 자신을 칸트주의자로 여겼다.
• 누구나 살인이 나쁘다는 것을 인정하지만, 내집단 구성원을 죽이는 것만 살인에 해당하고 외집단 누군가를 죽이는 것은 살인이 아니라고 생각한다. 하지만 내집단과 외집단은 상호주관적 현실이고, 이를 정의하는 기준은 대개 어떤 신화다. 따라서 보편적인 합리적 법칙을 추구하는 의무론자들은 흔히 어떤 지역의 신화의 포로가 된다.
• 의무론자들이 내재적으로 선한 보편 법칙을 찾으려 고군분투한다면, 공리주의자들은 고통과 행복에 미치는 영향을 기준으로 행동을 판단한다. 제러미 벤담은 세상의 고통을 최소화하고 행복을 극대화하는 것만이 유일하게 합리적인 궁극적 목표라고 말했다. 공리주의자들의 해법은 확실하고도 매력적으로 보인다. 우리는 컴퓨터 네트워크를 만들 때 고통을 최소화하고 행복을 최대화하라고 지시하기만 하면 된다. - 하지만 우리느 특정 사건에 '고통 점수' 또는 '행복 점수'를 몇 점이나 부여해야 하는지 모르고, 따라서 복잡한 역사적 상황에서 특정 행동이 세상에 존재하는 고통의 총량을 늘리는지 줄이는지 계산한다는 것은 불가능에 가깝다.
• 칸트가 동성애자를 비인간화하는 것은, 동성애자들은 동물보다 낮은 수준으로 여겨졌기 때문에 인간을 살해하면 안 된다는 칸트의 보편 법칙은 동성애자들에게 적용되지 않는다.
• 컴퓨터 네크워크는 언젠가는 죽는다는 사실처럼 실체 없는 것들로 인한 고통을 어떻게 평가할까? 만일 어떤 종교적 신화에서 우리가 죽은 후에도 영원한 영혼이 천국에 가기 때문에 우리는 실제로 영원히 죽지 않는다고 약속한다면 이것이 우리를 진정으로 행복하게 해줄까, 아니면 단지 망상에 빠뜨릴 뿐인가? 죽음은 불행의 뿌리 깊은 원인일까, 아니면 고통은 죽음을 부정하는 데서 비롯될까? 누군가가 종교적 믿음을 잃고 죽음을 받아들인다면, 컴퓨터 네크워크는 이것을 순손실로 봐야 할까, 아니면 순이익으로 봐야 할까?
• 어떤 종교적 영향으로부터 완전히 벗어났다고 믿는 현실적인 사람들도 보통은 어떤 신화창조자의 노예다. - 존 메이너드 케인즈
• 우리가 직면한 문제는 어떻게 컴퓨터에서 모든 창의적 주체성을 박탈할 것인가가 아니라, 어떻게 컴퓨터의 창의성을 올바른 방향으로 이끌 것인가이다. 그것은 우리가 인간의 창의성에서도 항상 고민해왔던 점이다. 인간이 만들어낸 상호주관적 현실은 인류 문명이 성취한 모든 것의 바탕이 되었지만, 이따금 십자군 전쟁, 지하드, 마녀사냥을 초래하기도 했다. 상호컴퓨터 현실을 아마도 미래 문명의 토대가 될 텐데, 컴퓨터가 경험적 데이터를 수집하고 수학을 이용해 그것을 분석한다고 해서 마녀사냥을 벌일 수 없을 것이라고 생각해서는 안 된다.
• 일반적으로 무언가가 AI로 인정받기 위해서는 인간 창조자의 지시를 따르기만 하는 대신 스스로 새로운 것을 학습할 수 있는 능력이 있어야 한다. AI는 결과에 상관없이 똑같은 동작을 반복하는 멍청한 자동기계가 아니다. 오히려 강력한 자정 기능을 갖추고 있어서 스스로의 실수에서 배울 수 있다.
• 한 가지 안전장치는 컴퓨터가 자신의 오류 가능성을 인식하도록 훈련하는 것이다. 소크라테스가 가르쳐주었듯이, 지혜에 이르기 위해서는 '나는 모른다'고 말할 수 있어야 한다. 이는 인간 못지않게 컴퓨터에도 해당하는 말이다. 모든 알고리즘이 학습해야 할 첫 번째 교훈은 자기가 오류를 범할 수 있다는 것이다.
• 새로운 컴퓨터 네크워크 자체는 나쁜 것도 좋은 것도 아니다. 우리가 확실하게 아는 사실은 그 네크워크가 우리와는 이질적인 성격을 가지고 있으며 오류를 범할 것이라는 점뿐이다. 따라서 우리는 탐욕이나 증오 같은 우리에게 익숙한 인간의 약점 외에 우리가 모르는 낯선 오류까지도 점검할 수 있는 기관을 만들 필요가 있다. 이 문제에 대한 기술적 해법은 존재하지 않는다. 이것은 오히려 정치적으로 풀어야 할 문제다. 우리에게 이 문제를 해결할 정치적 의지가 있을까?
제3부 컴퓨터 정치
9 민주주의: 우리는 계속 대화할 수 있을까?
• 문명은 관료제와 신화의 결합으로 탄생한다. 컴퓨터 기반 네크워크는 새로운 유형의 관료제로, 이전에 보았던 어떤 인간 기반 관료제보다 훨씬 더 강력하고 빈틈없다. 이 네크워크는 상호 컴퓨터 신화도 만들어낼 텐데, 이는 인간이 만든 어떤 신보다도 복잡하고 낯설 것이다. 이 네크워크의 잠재적 이익은 어마어마하다. 하지만 잠재적 단점은 인류 문명의 파괴다.
• 컴퓨터가 완전한 감시 체제를 만들어낼 수 있다고 해서 그런 체제가 불가피하다고 생각하는 것은 잘못이다. 기술은 좀처럼 결정론적이지 않다.
• 다양한 사회적 역할과 작업이 자동화될 가능성을 고려할 때 중요한 질문은 '사람들이 진정으로 원하는 것이 무엇인가'다. 단순히 문제 해결을 원하는가, 아니면 다른 의식적 존재와의 관계를 원하는가?
• 한 가지 분명한 사실은 미래의 고용 시장은 매우 불안정할 것이라는 점이다. 우리에게 닥친 가장 큰 문제는 일자리의 절대적 부족이 아니라, 끊임없이 변화하는 고용 시장에 대응하여 재훈련하고 적응하는 것이다. 따라서 사람들은 한 번이 아니라 여러 번 스스로를 재교육하고 재창조해야 하며 그렇게 하지 않으면 도태될 것이다.
• 사회는 오랜 시간 시행착오를 거치며 축적된 규칙, 제도, 관습의 얽히고설킨 그물망을 통해 작동한다. 이 모든 것이 어떻게 연결되어 있는지 이해하는 사람은 아무도 없다.
• 21세기를 버텨내기 위해 가장 중요한 인간의 능력은 유연성일 가능성이 높고, 민주주의는 전체주의 체제보다 유연하다.
• 기독교인들이 아프리카인의 조상으로 여기는 함Ham의 자손들에게 '형제들에게 천대받는 종이 되어라. (창9:25)'라고 저주를 내렸다.
• AI가 훨씬 더 복잡한 금융 상품을 만들고 금융 시스템을 이해할 수 있는 사람들의 수가 0으로 줄어들면 민주주의는 어떻게 될까?
• 결정을 내릴 때 한두 가지 눈에 띄는 사실만을 고려하기보다는 관련된 모든 데이터 포인트를 고려하는 것이 일반적으로 더 낫다. 물론 정보의 관련성을 누가 결정하느냐에 대해서는 따져볼 여지가 많이 있다. 하지만 관련성을 어떤 식으로 정하든, 더 많은 데이터를 고려할 수 있는 능력은 자산이다. 실제로 인간이 지닌 편견들의 문제는 딱 한두 가지 데이터 포인트에만 집중하고 다른 정보는 무시하는 데 있다. 은행과 여타 기관이 점점 더 알고리즘에 의존해 결정을 내리는 이유는 바로 알고리즘이 인간보다 더 많은 데이터 포인트를 고려할 수 있기 때문이다.
• 민주주의를 대신할 지배적인 정치체제는 무엇일까? 미래는 전체주의 체제에 넘어갈까? 아니면 컴퓨터가 전체주의마저도 불가능하게 만들까?
10 전체주의: 모든 권력을 알고리즘에게로?
• 지역 스타트업의 검색 엔진이 구글과 경쟁하려 한다고 가정해보자. 스타트업은 승산이 없다. 이미 수십억 명이 이용하고 있는 구글은 방대한 데이터를 보유하고 있어서 이 데이터로 훨씬 더 나은 알고리즘을 훈련할 수 있고, 더 나은 알고리즘은 더 많은 트래픽을 끌어들이며, 이 사용자들이 생성한 더 많은 데이터는 다시 차세대 알고리즘을 훈련하는 데 사용된다.
결과적으로 2023년 구굴은 전 세계 검색 시장의 91.5%를 장악했다.
• 컴퓨터는 투옥되거나 살해되는 것을 두려워하지 않는다. 챗봇을 투옥할 수도 고문할 수도 가족을 협박할 수도 없다. 정부는 물론 그 챗봇을 차단하거나 삭제할 수 있고, 챗봇을 만든 사람을 찾아내 처벌하려 하겠지만, 이는 인간 사용자를 징벌하는 것보다 훨씬 어렵다.
• 의식을 가지고 있지 않으며 탐욕이나 이기심같은 인간적인 욕구가 없는 알고리즘도 권력을 축적하고 사람들을 조종할 수 있다.
• 권력은 정보 채널이 합쳐지는 연결 고리에 있다.
11 실리콘 장막: 세계 제국인가, 세계 분열인가?
• 인류가 단합하는 한, AI를 통제하고 알고리즘의 오류를 찾아내 바로잡을 수 있는 제도를 만들 수 있다. 하지만 불행히도 인류는 단합한 적이 없다. AI 발전이 인류의 존재 자체를 위협한다면 그것은 컴퓨터가 악의적이라서가 아니라 우리가 완벽하지 않기 때문이다.
• AI를 현명하게 규제하기만 한다면 AI 혁명의 최악의 결과는 피할 수 있다고 생각한다면 순진한 것이다.
• 국제질서는 컴퓨터로 인해 크게 두 가지 위협에 직면할 수 있다.
1. 컴퓨터는 정보와 권력을 중앙 허브에 모으는 것을 쉽게 만든다는 점에서 인류는 새로운 제국 시대에 접어들 수 있다.
2. 인류는 서로 경쟁하는 디지털 제국들 사이에 가로놓인 새로운 실리콘 장막을 따라 분열될 수 있다.
• 21세기 초 AI 개발 경쟁이 본격화했을 때도 처음에는 몇몇 국가의 민간 기업가들이 이를 주도했다. 이들의 목표는 전 세계의 정보 흐름을 한 곳에 집중하는 것이었다.
구글: 전 세계의 모든 정보를 한 곳에서
아마존: 전 세계의 모든 쇼핑을 한 곳에서
페이스북: 전 세계의 모든 사회관계의 장을 연결
하지만 전 세계 정보를 한 곳에 모으려는 시도는 그 모든 정보를 중앙에서 처리할 능력이 없다면 현실적이지도 유용하지도 않다.
• 새로운 정보 경제의 본질상 제국의 허브와 착취당하는 식민지 사이의 불균형은 그 어느 때보다 심해질지도 모른다.
• 고대에는 정보가 아닌 토지가 가장 중요한 자산이었다. 산업혁명기에는 기계가 땅보다 더 중요해졌다.
• 점점 더 중요해지고 있는 질문은 이것이다. 온라인에서 사람들이 자유롭게 가상 정체성을 선택할 수 있도록 허용해야 할까, 아니면 생물학적 몸에 기반한 정체성을 유지해야 할까?
• 인간은 과연 AI규제에 필요한 수준의 신뢰와 자제력을 가질 수 있을까? 이런 변화를 이루어낸 역사적 선례가 있을까?
• 전쟁의 강도를 결정하는 것은 불변하는 인간 본성이 아니라, 변화하는 기술적, 경제적, 문화적 요인이다.
• 모든 오래된 것은 한때 새로운 것이었다. 역사의 유일한 상수는 변화다.
에필로그
• 정치는 주로 우선순위를 정하는 문제다.
• 궁극적 목표를 정의할 합리적인 방법은 없다.
• 역사적 비교는 AI 혁명의 전례 없는 성격과 이전 혁명들의 부정적 측면을 과소평가한다. 인쇄 혁명은 직접적인 결과로 과학 발견만이 아니라 마녀사냥과 종교전쟁도 일으켰다. 신문과 라디오는 전체주의 정권에서만이 아니라 민주주의 정권에서도 악용되었다. 산업혁명의 경우 그 변화에 적응하는 과정은 제국주의와 나치즘 같은 재앙적인 실험을 수반했다. AI혁명이 우리를 비슷한 종료의 실험으로 이끈다면, 우리가 이번에도 그럭저럭 헤쳐나갈 것이라고 확신할 수 있을까?
• AI가 기존의 패턴을 깨고 진실을 우선시할 것이라고 기대할 이유는 없다. AI는 무오류의 존재가 아니다. AI는 강력한 자정 장치가 없을 경우 왜곡된 세계관을 조장하고, 심각한 권력 남용을 가능하게 하며, 무시무시한 마녀사냥을 선동할 수 있다.
• 우리가 지혜로운 사람이라면 우리는 왜 이토록 자기 파괴적일까?
우리는 지구상에서 가장 영리한 동물인 동시에 가장 어리석은 동물이다. 우리는 핵미사일과 초지능 알고리즘을 만들어낼 수 있을 정도로 영리하다. 하지만 통제할 수 있는지 확실하지 않고 통제하지 못하면 우리를 파괴할 수 있는 것들을 덮어놓고 생산할 정도로 어리석다. 우리는 왜 이렇게 할까? 인간 본성의 어떤 부분이 우리를 자기 파괴의 길로 내모는 걸까? 나는 그것은 인간 본성 탓이 아니라 정보 네크워크 탓이라고 주장한다. 진실보다 질서를 우선시한 탓에 인간의 정보 네크워크들은 엄청난 힘을 만들어냈지만 지혜는 거의 만들어내지 못했다.
• 우주는 인내심이 있다.
• 우리가 지혜로운 네크워크를 구축하기 위해서는,
정보에 대한 순진한 관점과
포퓰리즘적 관점을 모두 버리고,
무오류성이라는 환상에서 벗어나
강력한 자정 장치를 갖춘 제도를 구축하고 힘들고 다소 재미없는 일에 전념해야 한다.
이것이 이 책의 가장 중요한 메시지가 아닐까 싶다.
<호모 사피엔스>
신, 국가, 돈처럼 우리의 집단 상상 속에만 존재하는 것들(허구)을 믿는 인간의 능력이 인류 사회를 발전시키는 원동력이다. 우리는 이런 것들을 믿은 덕분에 대규모로 협력할 수 있었고, 그 힘을 바탕으로 지구를 지배하게 되었다.
<호모 데우스>
미래에 권위는 신도, 인간도 아닌 정보가 갖게 될 것이다.
< 넥서스>
인간이 지혜롭지 못한 이유는 네크워크 문제, 더 구체적으로는 정보 문제이다. 인간의 정보 네크워크의 역사는 항상 진실과 질서 사이의 균형 맞추기였으며 대체로는 질서를 위해 진실이 희생되었다.
<유발 하라리>
그는 스마트폰을 사용하지 않고, 매일 두 시간씩 명상하며, 매년 한 달 이상 수행하며 침묵을 지킨다.
제목 ‘넥서스nexus’는 사전적으로 ‘결합’ ‘연결’을 의미한다. 이는 정보의 기능이다. 정보는 현실이나 진실과 상관없는 경우가 많지만 새로운 현실을 만들어 사람들을 불러모을 수 있다. 우리는 역사적 사건을 정치적, 이념적, 경제적으로 해석하는 데 익숙하지만, 이 책은 정보 흐름이라는 새로운 관점에서 역사를 재해석한다. 모든 대규모 사회는 ‘정보 네트워크’이고, 이야기(신화), 문서(관료제의 서류), ‘거룩한 책’(신의 말씀을 기록하고 해석하는 책), 그리고 오늘날의 컴퓨터와 AI는 모두 ‘정보 기술’이다. 이야기는 정보 네트워크를 결속하고, 문서는 네트워크에 질서를 부여하며, 거룩한 책들은 그런 질서를 정당화한다. 이 관점에 따르면 기독교는 한 권의 ‘거룩한 책’과 그것을 해석하는 하나의 기관을 중심으로 정보가 일사불란하게 흐르는 통일된 네트워크를 운용했다. 그리스 다신교 사회에서는 없었던 정보 네트워크다. 스탈린의 소련은 제정러시아 시대와는 달리 많은 정보를 중앙에 축적하는 전체주의 네트워크였다. 책이나 전신 같은 정보 기술이 없었다면 기독교 교회와 스탈린주의 체제는 결코 가능하지 않았을 것이다.
AI가 주체성을 지녔다니, 무슨 뜻일까? AI는 지금까지의 정보 기술과는 달리 스스로 결정하고 새로운 아이디어를 생성할 수 있는 능동적인 행위자다. 이 점이 AI 혁명의 본질이다. 이전의 정보 기술인 점토판, 인쇄기, 라디오는 단순히 네트워크 구성원들을 연결하는 장치이자 도구에 불과했다. 고대 메소포타미아의 점토판은 어떤 지역의 세금 납부 현황을 기록할지 스스로 결정하지 않았다. 근대 초의 인쇄기는 어떤 내용의 책을 찍어낼지 고민하지 않았다. 모두 인간이 결정하고 실행에 옮겼다. 그러나 AI 혁명의 초기 단계인 지금, 컴퓨터는 이미 인간의 통제와 이해를 벗어나 사회, 문화, 역사를 주도적으로 만들어나갈 수 있는 인간보다 강력한 구성원이 되고 있다.
“우리가 지혜로운 사람(호모 사피엔스)이라면 왜 이토록 자기 파괴적일까?”
유발 하라리는 원인이 우리의 본성이 아니라 정보 네트워크에 있다고 주장한다. 인류가 대규모로 협력할 수 있는 네트워크를 구성해내면서 엄청난 힘을 가지게 되었지만, 지혜를 만들어내지는 못했기에 오늘날의 실존적 위기를 자초했다는 것이다. 더 구체적으로는 정보 문제다. 정보는 많으면 많을수록 좋을까? 이 질문에 ‘그렇다’고 답한 사람들은 규제를 반대하면서, 정보 시장의 완전한 자유를 보장하면 저절로 진실과 질서가 생긴다고 믿는다
“민주주의 국가는 정보 시장을 규제할 수 있으며, 민주주의의 생존 자체가 이런 규제에 달려 있다.”
'읽기' 카테고리의 다른 글
| 나도 그렇게 생각한다: 공감의 두 얼굴 / 프리츠 브라이트하우프트 (0) | 2024.12.24 |
|---|---|
| 운동의 뇌과학 / 제니퍼 헤이스 (0) | 2024.12.24 |
| 오늘도 시작하지 못하는 당신을 위해 / 윤닥 (1) | 2024.12.23 |
| 상상하기 어려운 존재에 관한 책 / 캐스파 헨더슨 (0) | 2024.12.18 |
| 마흔 이후 멋지게 나이 들고 싶습니다 / 조은강 (0) | 2024.12.18 |
