• 기계가 인간의 창조물이라 해도 반드시 인간과 닮아 있어야 할 이유는 없다. 심지어 반드시 인간에게 익숙한 방식으로 작동해야 할 이유도 없다. 그리고 실제로 기계가 인간이 이해할 수 없는 방식으로 작동하는 것의 일종의 치트키가 될 만큼 강력한 기술적 돌파구가 된 아이디어였으며 현대 인공지능 기계의 핵심적 특징이 되었다. 그러나 이것은 현재 인공지능 분야에서 발생하고 있는 오남용 및 규제 등의 문제를 해결해야 하는 인간이 처한 딜레마의 원인이기도 하다.
1장. 지능의 탐구
• 지능이란 인간적인 것에 관한 문제가 아니라 새로운 상황에서 효과적으로 행동할 수 있는 능력에 관한 문제다. 이 능력에는 두뇌가 필요하지 않으며 식물, 개미 군체, 심지어 소프트웨어에서도 지능을 찾아볼 수 있다. 서로 다른 에이전트(행위자)들은 이러한 능력을 각기 다른 작업에서 다양한 수준으로 발휘한다. 지능을 판단하는 단 하나의 일반적 수단이나 비밀 공식, 테스트 방법은 존재하지 않는다. 모든 지능형 에이전트에서 인간적인 특성을 찾아볼 수 없으며, 웹 브라우저에서 접할 수 있는 지능을 연구할 때는 인간보다는 오히려 정원의 달팽이나 허브와 비교하는 편이 더 낫다.
• 지능은 소속된 환경에서 작동할 수 있고 감각 정보를 사용해 의사 결정을 내릴 수 있는 모든 체계에 해당하는 에이전트의 행동이다.
• 학습은 경험에 따른 행동의 모든 변화이다.
2장. 치트키
• 사물을 지능적으로 만드는 파악하기 어려운 특성을 정의하고 구현하고자 상당한 시간을 들여 노력한 끝에, 연구자들은 다양한 수단으로 '목적 지향적 행동'을 연구하고 생성하는 방법에 정착했다. 그 결과 자신의 환경에서 통계적 패턴을 활용하여 새롭고 다양한 상황에서 효과적으로 학습하고 행동하는 수많은 '자율 에이전트'가 개발되었고, 이제는 명시적인 행동 규칙 대신 대량의 훈련 데이터가 필요해졌다. 이러한 일종의 '치트키'는 머신러닝을 기반으로 새로운 기대치, 새로운 도구, 새로운 성공 사례들을 통합하는 인공지능 분야의 새로운 패러다임을 만들어냈다. 인공지능 에이전트의 대표 격으로 삼기에는 추천 시스템이 정리 증명기 theorem prover보다 더 낫다. 인공지능의 새로운 언어는 더 이상 논리와 형식적 추론의 언어가 아닌, 확률과 수학적 최적화의 언어이다.
3장. 세계의 질서를 찾아서
• 환경에서 규칙성을 감지하는 것은 에이전트가 자기 행동 결과를 예측하는 데 필요한 단계이므로 규칙적 환경은 지능형 행동의 전제 조건이다. 패턴 인식을 위한모든 방법에는 중요한 한계 사항들이 있기 때문에, 지능형 에이전트에서 기대할수 있는 바에도 한계가 있다.
4장. 러브레이스는 틀렸다
• 오늘날 기계는 경험을 통해 자율적으로 학습할 수 있는 능력을 갖춘 덕분에, 인간이 할 수 없거나 심지어 이해할 수조차 없는 일들을 해낼 수 있다. 따라서 기계는 이론이 존재하지 않는 영역에서 작동하기에 적합하며, 바로 이러한 점이 전통적인 기존 방식에 비해 강점을 가지는 부분이다.
5장. 의도를 벗어난 행동
• 야생의 데이터로 훈련한 인공지능 에이전트가 아무런 문제를 일으키지 않고 기대한 바대로 작업을 수행할 것이라고 믿을 수 있을까? 사이버네틱스의 창시자인 노버트 위너는 기계가 위험한 치트키를 쓸 가능성을 우려했고, 이를 소원을 들어주는, 그러나 문자 그대로만 들어준다는 무서운 옛이야기의 기물(부적)에 비유했다. 오늘날 그의 우려는 현실이 될 수 있다. 우리는 개별 위험 평가를 위해 통계 알고리즘을 활용하고 그 결과에 기반하여 중요한 의사 결정을 내린다. 다행히 지금까지는 피해 발생 범위가 제한적이었지만, 우리가 만든 기계가 수행하도록 지시받은 일을 문자 그대로만 수행함으로써 근본적인 사회 규번을 위반하지 않게 하려면 어떻게 해야 할까?
6장. 마이크로타기팅과 대중 설득
• 인간이 온라인 에이전트와 상호작용할 때는 대량의 정보를 흡수하기도 하고 유출하기도 하면서 양방향 관계로 인간과 에이전트의 행동을 형성한다. 인간이 자기결정권을 보호할 방법을 이해하려면 다양한 학문 사이의 접점에 대한 상당한 연구가 필요하며, 궁극적으로는 법적 규제도 필요하다.
7장. 피드백 루프
• 우리가 매일 일상적으로 사용하는 첫 번째 지능형 에이전트는 소셜미디어에서 개인화된 뉴스 피드를 보여주는 추천 시스템이다. 이 시스템은 우리의 선택을 계속해 관찰하고 학습하여 기능을 개선해 나간다. 이러한 에이전트를 개인 비서로 간주하고 가장 내밀한 개인 정보까지 쥐여줄 수도 있고, 꼭 사용자의 목적을 위해서라고 보기는 어려운 웹 서비스 트래픽을 늘리는 목표에 따라 작동하는 제어 장치로 생각할 수도 있다. 에이전트가 수십억 명에 달하는 사용자의 행동으로부터 학습할 수 있고, 각 사용자에 대한 개인 정보에 접근할 수 있으며, 거의 무한에 가까운 목록에서 제안을 선택할 수 있다는 점을 생각하면, 사용자와 에이전트 간의 힘의 차이는 아주 명확하다.
8장. 결함
• 연구자들은 단순한 실험만으로 폭넓은 유형의 여러 작업을 학습할 수 있고 종종 초인간적인 수준의 성능까지 발휘하는 지능형 에이전트를 만들어냈다. 비디오 게임을 플레이하는 에이전트의 사례는 이러한 기계가 인간에게 알려지지 않은 자신의 환경적 속성을 이용해 인간이 예상치 못한 치트키를 택하면서도, 그러한 행위의 의미를 충분히 인식하지 못할 수 있다는 사실을 보여준다. 우리 삶의 민감한 부분을 맡긴 에이전트에게 이러한 일이 일어나지 않으리라는 걸 어떻게 보장할 수 있을까?
9장. 소셜 머신
• 지능을 발견하고자 엉뚱한 방향을 바라보고 있었던 건 아닌지 생각해봐야 한다. 인간이 매일 마주치는 지능형 에이전트가 실제로는 수십억 명의 구성원들로 이루어진 소셜 머신<sup>social machine</sup>이라면 어떨까? 시스템의 경계를 어떻게 긋느냐에 따라 개미 군체와 같은 조직의 행동에서 집단 지성이 출현하는 것을 발견할 수 있으며, 지난 20년간 인간이 만들어낸 거대한 소셜 머신에서도 같은 유형의 지능을 발견할 수 있다. 이들을 지능형 에이전트로 인식한다면 우리가 이들과 상호작용하는 더 나은 방법을 찾는 데 도움이 될 수 있다.
10장. 금지가 아닌 규제
• 인공지능이 없는 세상으로 돌아가는 건 현실적으로 불가능한 만큼, 인공지능과 함께 안전하게 살아갈 방법을 찾아야 한다. 연구자들은 모든 에이전트가 준수해야 할 원칙의 목록을 작성하고 있다. 이러한 원칙은 시행 가능하고 검증 가능해야 한다. 따라서 에이전트에 기대해야 하는 가장 기본 속성은 '감사 가능성', 즉 어떤 형태의 검사를 가능하게 하는 방식으로 설계되는 것을 말하는 속성이다. 이러한 속성이 충족된다면 현재 법학자들이 논의하고 있는 안전성, 공정성, 개인정보보호, 투명성 및 기타 중요한 요구 사항의 준수를 기대할 수 있으므로, 지능형 기계를 신뢰할 수 있게 된다.
