“현재를 확인하고 미래를 전망할 수 있는 반드시 읽어야 할 두 권의 책 중에서 한 권” - 빌 게이츠
서문
ㆍ만약 기계지능이 일반 지능의 영역에서 인간의 지능을 뛰어넘는 날이 온다면, 이 새로운 초지능은 아주 강력한 힘을 가지게 될 것이다. 마치 현재 고릴라들의 생존이 그들 자신의 노력보다는 우리 인간의 의지에 달린 것처럼, 인간의 운명 또한 기계 초지능의 행동에 의해서 결정될 것이다. 그러나 우리 인류에게는 단 하나의 희망이 있다. 즉 우리 스스로가 초지능 개발 여정의 첫걸음을 선택할 수 있다는 것이다. 앞으로 다가올 지능 대확산의 시기에 우리 인간이 살아남을 수 있도록 명령된 초기 인공지능을 만들거나 초기 조건들을 조정할 수 있지는 않을까? 폭발적인 지능 대확산이 아닌 보다 점진적인 지능 대확산을 유도할 수는 없을 것인가?
1 과거의 발전과 현재의 역량
ㆍ현재의 단계에서 인간 수준의 기계지능의 완성이라는 단계에서 발전이 멈추지는 않을 것이다. 그로부터 그다지 멀지 않은 지점에 바로 다음 단계가 있고, 그것은 바로 인간의 지능을 뛰어넘는 수준, 즉 초인간 수준의 기계지능일 것이다. 인간 수준의 지능에 도달했다고 해서 이러한 발전은 멈추거나 속도를 늦추거나 하지 않고 바로 초인간 수준으로 도약할 가능성이 높다.
ㆍ지능 대확산이 우리에게 존재적 위험이 될 수도 있다는 것이 명백해 보인다.
ㆍ조합적 대확산의 문제를 해결하기 위해서는, 초기 인공지능 시스템에서는 거의 개발되지 못한 성능인 경험적 탐색, 계획, 그리고 유동적인 추상적 표현을 활용하여 선행지식에서 유용한 장점을 이끌어내고, 목표 영역의 구조를 개발 할 수 있는 알고리즘이 필요하다. 초기 인공지능 시스템의 성능이 열악했던 원인은, 불확실성을 다루는 방식이 미흡하고 불안정하며, 근거 없는 상징적 표현에 대한 의존이 크고, 관련 데이터가 부족하며, 메모리 용량과 연산 처리 속도 등의 하드웨어적 한계 때문이었다.
ㆍ어떤 인공지능 시스템이 제대로 작동하는 순간 그것은 더 이상 인공지능으로 간주되지 않는다.
2 초지능으로 향하는 몇 가지 경로
ㆍ우리는 인공 일반 지능 시스템이 갖춰야 할 몇 가지 일반적인 특징들을 알아볼 수 있을 것이다. 학습할 수 있는 능력은, 시스템의 확장이나 보충을 위해서 덧붙일 수 있는 부분이라는 것은 분명하다. 불확실성과 확률적 정보를 효과적으로 다루는 능력 또한 마찬가지일 것이다. 감각 정보와 내부 상태로부터 유용한 개념을 뽑아내고, 이렇게 획득한 개념을 논리적 그리고 직관적 추론에 사용하기 위해서 유연한 조합적 표현으로 다듬는 능력도 인공 일반 지능의 핵심적 특징일 것으로 보인다.
ㆍ이미 우리는 무작위적인 진화 과정으로도 인간 수준의 일반 지능이 만들어 질 수 있다는 것을 알고 있다.
ㆍ진화적 방식에 의한 인공지능의 가능성에 관한 주장은 또다른 방식으로 전개될 수도 있다. 즉 유전자 알고리즘을 충분히 빠른 컴퓨터에 돌린다면, 생물학적 진화에 비견될 만한 결과를 얻을 수 있다는 주장이다. 이러한 주장은 인공지능을 만드는 명확한 방식을 제시한다.
1) 생명공학의 향상으로 초기 진입 단계의 초지능에 다다르는 것은 가능하다.
2) 인지능력이 향상된 인간이 탄생할 가능성은 발전된 형태의 기계지능이 실현될 수 있다는 타당성을 높여준다.
3) 이번 세기의 후반부나 그 이후까지의 미래의 일을 고려해야 한다면, 유전적으로 향상된 사람들로 구성된 세대가 등장할 수도 있다는 것, 그리고 시간의 흐름에 따라서 훨씬 더 급격하게 유전적 향상이 이루어질 수 있다.
3 초지능의 형태
ㆍ초지능의 역량군을 1) 속도적 초지능, 2) 집단적 초지능, 3) 질적 초지능 이렇게 세 가지로 나눈다.
1) 속도적 초지능: 인간의 지능으로 할 수 있는 모든 일이 가능하면서 그것을 훨씬 더 빨리 처리할 수 있는 시스템
2) 집단적 초지능: 작은 단위의 지성체들을 여러 개 모아서 더욱 뛰어난 능력을 보이는 것
3) 질적 초지능: 적어도 인간의 정신만큼 빠르고 질적으로 그보다 훨씬 더 똑똑한 시스템
4 지능 대확산의 동역학
ㆍ지능의 변화율 = 최적화 능력 / 저항성
ㆍ증가 가능성 덕분에, 저항성이 일정하거나 인간 수준에서 아주 살짝 증가하더라도 빠른 도약이나 중간 속도로의 도약이 일어날 현실적인 가능성이 생기게 된다. 하지만 느린 도약의 가능성을 배제할 수는 없다.
5 확실한 전략적 우위
ㆍ지적 재산권이 잘 보장되지 않는 경우에는 선두주자가 더욱 불리할 것이다. 선두세력은 또한 몰수, 과세, 또는 반독점 규제 때문에 조각조각 나누어질 위험도 직면하고 있다.
ㆍ초지능이 야기할 수 있는 극단적인 보안상의 영향을 고려해본다면, 정부는 조만간 인공지능으로 도약할 수 있다고 판단되기만 하면 자국 영토 내의 그 어떤 프로젝트라도 국유화하려고 할 가능성이 높다.
6 인지적 초능력
ㆍ지구상에서 인류가 지배적인 위치를 차지할 수 있었던 중요한 원인은 다른 동물들에 비해서 정신적 능력이 조금 더 발달되어 있기 때문이다. 인간은 높은 지능 덕분에 문화를 보다 효과적으로 전파할 수 있게 되었고, 그 덕분에 지식과 기술이 한 세대로부터 다음 세대로 축적되었다.
ㆍ초지능이 인간에게서 발견되는 모든 기술과 재능뿐만 아니라 인간이 가지지 못한 능력까지도 가질 수 있다는 것을 알고 있다고 해도, 우리가 초지능을 의인화하여 사고하는 경향 때문에 초지능이 인간의 능력을 얼마나 뛰어넘을 것인지를 과소평가하게 될 수도 있다. 우리가 '똑똑함'과 '멍청함'에 대해서 가지고 이는 직관적인 개념은 인간의 사고능력의 범주에 대한 경험에서 형성된 것이다. 그러나 인간 집단 사이에서의 인지능력의 차이는 인간의 지능과 초지능 간의 차이에 비하면, 지극히 사소할 뿐이다.
ㆍ인공지능이 인간의 방해를 충분히 이결낼 수 있으라라는 자신이 있다면, 어쩌면 인간 종을 직접적인 목표로 삼지 않을 수도 있다. 대신 인간의 종말은 인공지능이 나노 기술을 이용하는 공장이나 조립기기를 세우기 위해서 전 세계에서 대규모 건설을 시작하면서 인간 거주지를 파괴하기 때문에 일어날 수도 있다.
ㆍ인공지능의 목표와 관련된 정보를 담고 있는 인간의 뇌는 분해되어 분석되고, 그로부터 추출된 정보는 더 효율적이고 안전한 저장 형식으로 옮겨지게 될 것이다.
ㆍ초지능이 만든 계획은 인간이 생각할 수 있는 그 어떤 계획보다 더 뛰어난 것일 가능성이 높으므로, 이 주제에 대해서는 보다 추상적으로 생각해야 한다. 초지능이 이용할 구체적인 수단에 대한 정보가 없기 때문에, 적어도 지적으로 동등한 지능체가 없거나 인간들이 마련한 효과적인 안전장치가 존재하지 않을 때에는, 초지능은 목표를 실현시킬 가능성을 극대화할 수 있는 구조로 지구의 자원을 재구성할 것이라는 추측만 할 수 있을 뿐이다. 인간이 아무리 깊게 생각하고 추측한다고 해도 인간이 알 수 있는 것은, 단지 초지능이 얼마나 빨리 그리고 효율적으로 그러한 결과를 실행할 수 있을지에 대한 하한치뿐이다. 초지능이라면 원하는 결과를 얻을 수 있는 더 빠른 방식을 찾아낼 것이기 때문이다.
7 초지능적 의지
ㆍ가능한 모든 정신 세계에서 인간의 심리는 아주 작은 부분만을 차지하고 있음에도 불구하고, 다양한 종류의 인격체나 인공의 인지적 시스템에게도 인간적인 속성을 부여하려는 경향이 있다.
ㆍ목표에 대해서 도구적으로 가장 최적화된 계획이나 정책을 찾기 위한 지능적인 탐색방법은 그 어떤 목표에도 적용이 가능하다. 지능과 동기는 어떤 점에서는 서로 직교한다. 즉 원칙적으로는 그 어떤 지능 수준에서든 그 어떤 최종 목표라도 설정이 가능하다는 뜻이다.
8 예정된 결말은 파멸인가?
ㆍ존재적 위험이란 지구로부터 기원한 지적 생명체를 멸종시키거나 그런 지적 생명체의 바람직한 미래의 발달을 영구적이고도 철저하게 파괴하는 위협을 말한다.
ㆍ가장 먼저 등장한 초지능적 에이전트는 지구에서 기원한 생명체들의 미래를 좌지우지할 가능성이 있고, 인간의 사고관에 입각한 최종적 가치들과는 전혀 다른 최종 목표를 지향할 수도 있으며, 끝없이 자원 획득을 추구할 도구적 이유를 가질 가능성이 크다고 할 수 있다. 여기서 인간이라는 존재는 유용한 자원으로 이루어져 있고 생존과 번영을 위해서 더 많은 국소적 자원을 필요로 한다는 사실을 생각해보면, 이 초지능의 존재와 활동의 결과가 인류의 신속한 멸종으로 이어지기 쉽다는 것을 알 수 있을 것이다.
ㆍ인공지능이 자신에게 주어진 최종 목표를 전혀 예상치 못한 방식으로, 달성한 방법을 찾아낸 경우에도 위험한 전환은 나타날 수 있다.
9 통제 문제
ㆍ능력 통제방법은 초지능이 할 수 있는 일을 제한함으로써, 원하지 않는 결과가 나타나는 것을 막으려는 방법이다. 이러한 방법으로는 초지능을 해를 끼칠 수 없는 환경에 넣어두는 것이나 아니면 유해한 행동을 취할 수 없는 강력한 수렴하는 도구적 이유를 제시하는 것 등이 있다. 또한 초지능의 내부적 역량을 제한하는 것일 수도 있으며, 격리 실패나 일탈 시도 등과 같은 다양한 실패 상황들을 자동적으로 감지하고 반응하는 메커니즘도 포함될 수 있을 것이다.
10 오라클, 지니, 소버린, 툴
ㆍ오라클은 질의-응답 시스템이다. 인간의 언어로 받은 질문에 대해서 텍스 형태의 답을 주는 식이다. 예/아니오의 단답형 질문만 받는 오라클은 가장 근접한 추측치를 싱글 비트로 내보내거나, 여기에 비트를 조금 더 추가하여 확신의 정도를 표현할 수 있다. 서술형 질문을 받는 오라클에는 유용성과 타당성에 따라 참에 가까운 답들의 순위를 매길 수 있는 함수가 필요할 것이다. 어떤 형식이든 간에, 인간의 언어로 구성된 질문에 답을 할 수 있는 영역-일반적인 능력을 가진 오라클을 구축하는 것은 인공지능-완전의 문제다. 이것이 가능하다면 인간의 언어뿐만 아니라 인간의 의도까지 이해할 수 있는 굉장한 능력을 갖춘 인공지능의 구축이 가능할 것이다.
ㆍ지니는 명령 실행 시스템이다. 복잡한 명령을 받아 실행한 뒤, 다음 명령을 받을 때까지 대기한다.
ㆍ소버린은 범위가 넓고 장기적일 수도 있는 목적을 달성하기 위한 광범위한 개방형의 지시를 따르는 시스템이다.
초지능이 어떤 형태를 띠어야 하고 무엇을 해야 하는가에 대해서 이 두 시스템이 근본적으로 다르게 보일 수 있지만, 사실 그 차이는 그리 크지 않다.
ㆍ지니에게 부가할 수 있는 옵션으로는, 주어진 명령에 대한 가능성이 높은 예상 결과물의 핵심 부분을 실행하기 전에, 사용자에게 확인을 요청하게 하여 미리 자동으로 알려주도록 지니를 설계하는 것이다.
ㆍ선호도 산정은 쉽다. 오라클이 지니보다 안전하고, 지니는 소버린보다 안전하며, 비교적 차이가 크지 않은 작동 편리성과 속도에 대해서 고려해보아도 오라클이 가진 높은 안전성을 고려하면 큰 영향을 주지 않는다.
ㆍ오라클과 지니의 특정 유형들의 약점이라고 할 수 있는 또다른 사항은, 만들려고 계획하고 있는 초지능의 최종 목표가, 우리가 궁극적으로 얻고자 하는 결과물과 100% 일치하지 않을 수 있다는 위험이 따른다는 것이다.
ㆍ툴-인공지능은 초지능에 에이전트가 아닌 툴로서의 역할을 부여하자는 제안이다.
11 다극성 시나리오
ㆍ독점적 지배체제 시나리오를 살펴보려면 세 가지 원천 정보를 보아야 한다.
1) 독점적 지배체제의 행동에 영향을 받지 않는 것들에 대한 정보(물리법칙 같은)
2) 수렴하는 도구적 가치에 대한 정보
3) 독점적 지배체제의 최종 가치를 예상하거나 추측할 수 있도록 해주는 정보들
ㆍ일반적 기계지능은 인간 지능을 대체할 수 있다. 디지털 지성체는 현재 인간이 하는 지적 노동을 할 수 있을 뿐만 아니라, 알맞은 작동장치나 로봇 몸체가 주어지면 인간의 육체노동도 대신할 수 있을 것이다.
ㆍ저렴하게 복제할 수 있는 노동자가 존재하게 되면, 시장에서 통용되는 일반 임금은 하락할 것이다.
ㆍ인간 노동에 대한 수요가 충분히 감소하면, 임금은 인간 최저 생계수준 이하로 떨어질 것이다. 따라서 인간 노동자들이 겪을 손실은 극심하다. 임금 감소, 좌천, 재훈련 요청뿐만 아니라 기아와 사망에 이를 수도 있다. 말이 운동력의 제공자로서 매력을 잃었을 때, 많은 말들이 개 사료, 골분, 가죽, 접착제를 만드는 육류 가공업체에 팔려갔다.
ㆍ변화 초기에는 개인 자신이 없는 사람도 엄청난 부자가 될 수 있다.
ㆍ기계가 모든 분야에 걸쳐 인간보다 기능적으로 우월한 전이-후 시절에도 노동을 통해서 부자가 되는 것이 가능하다.
ㆍ가장 중요한 첫째 질문은 노동하는 기계 지성체가 자산(노예)으로서 소유된 것인가, 아니면 무임금 노동자로 고용된 것인가 하는 것이다.
ㆍ최대한으로 효율적인 일은 과연 재미있을까?
ㆍ인간에게 행복이 만연한 이유는 진화적 적응환경에서 쾌활한 감정이 신호 기능을 하기 때문이다.
ㆍ진화가 항상 진화적이지만은 않다. 진화 과정이 항상 이득이 되는 방향으로 향한다는 잘못된 믿음은, 경쟁적 역학관계들에 의해서 결정되는 지능체의 미래에 대한 다양한 결과들을 적절하게 평가하는 데에 걸림돌이 될 수도 있다.
12 가치 획득
ㆍ능력통제는 기껏해야 일시적이고 보조적인 수단일 뿐이다. 초지능을 영원히 폐기할 생각이 아니라면, 동기 선택을 확실하게 통달해야 할 것이다.
ㆍ우리의 최종 목표를 식별하고 코딩을 하는 것 자체도 굉장히 어렵다. 인간의 목표를 표현하는 것이 복잡하기 때문이다. 그 복잡함이 우리에게는 당연한 것이기 때문에 그 진가를 제대로 인식하지 못한다. - 한 가지 방법은 인공지능이 추구하기를 바라는 목표를 모조리 그대로 코딩하려고 노력하는 것이다. 다시 말해서 구체적으로 효용 기능을 써내는 것이다.
ㆍ어려운 부분은 인공지능이 인간의 의도를 어떻게 이해하도록 하는가의 문제가 아니다. 초지능은 이런 이해 정도는 쉽게 획득할 것이다. 그보다는 우리가 의도한 대로 묘사된 가치를 추구하도록 인공지능에게 동기를 부여하는 것이 어려운 문제이다. 우리의 의도를 이해하는 인공지능의 능력만으로는 이것을 보장할 수 없다. 즉 우리가 의도한 것을 정확히 이해한다고 해도 전혀 무관심해질 수 있다.
13 선택의 기준 선택하기
ㆍ가치 선택에서 실수가 허용되지 않는다는 점은 분명하다. 그러나 이런 상황에서 현실적으로 어떻게 오류 없는 결정을 내릴 수 있을까? 우리의 도덕성, 우리에게 이로운 것, 우리가 정말 원하는 것에 대해서 우리 자신도 잘못 알고 있을 수 있다. 최종 목표를 정하는 것은 가시덤불이 뒤덮인 골치 아픈 철학 문제의 숲을 통과하는 것과 같다. 직접 부딪혀 헤쳐나가는 방식, 즉 우리 스스로 가치 선택에 관여하는 방식은 문제를 더욱 엉망진창으로 만들 가능성이 높다. 즉 목표가 결정되는 주변 환경에 익숙하지 않으면, 잘못된 선택을 내릴 확률은 높아진다. 그런데 인간의미래를 결정지능 기계 초지능의 최종 목표를 선택하는 것은 엄청나게 낯선, 그 무엇보다도 낯선, 판단 환경이다.
ㆍ"빠르게 생각할 수 있다면"= "만약 우리가 더 똑똑하고 좀 더 심사숙고했다면"
ㆍ"함께 더 멀리 성장할 수 있었다면"= "만약 적절한 사회적 상호작용이 이루어지는 환경에서 학습, 인지 강화 및 자기 개선을 이루었다면"
14 전략적 그림
ㆍ인간에게 미치는 영향을 생각하면 존재적 위험을 일으킬 수 있는 온갖 종류의 급진적 기술을 함께 이용하여 돌파해 나가야 할 이유가 있다. 왜냐하면 현재 살아 있는 거의 모든 사람은 100년 안에 죽을 수밖에 없는 숙명을 안고 있기 때문이다.
15 결정의 시간
ㆍ최선의 인간 본성이 나타나서 문제를 해결하기를
'읽기' 카테고리의 다른 글
| 매일의 기록이 특별해지는 아이패드 캘리그라피 / 김이영 (0) | 2022.10.19 |
|---|---|
| 이상하고 거대한 뜻밖의 질문들 / 모리 다쓰야 (0) | 2022.10.19 |
| 하루하루 마카 드로잉 / 메리 진(오은진) (0) | 2022.10.15 |
| 비 / 신시아 바넷 (0) | 2022.10.15 |
| 그래서 컴퓨터는 어떻게 작동하나요 / J 클라크 스코트 (0) | 2022.10.15 |
