딥러닝 레볼루션 / 테런스 J. 세즈노스키

 

• "미래는 이미 와 있다. 단지 널리 퍼져 있지 않을 뿐이다."
• 딥러닝의 첫 등장은 1980년대, 뉴럴 네트워크의 첫 등장은 1930년대이다.

 

 

서문

• 인공지능의 진보는 역공한 (reverse engineering, 이미 구성된 시스템을 역으로 추적해 애초의 문서나 설계 기법 등의 자료를 얻어내는 소프트웨어공학) 기술의 발전 덕분이다.
• IBM의 토머스 J. 왓슨(Thomas J. Watson) 사장은 1943년에 이렇게 말한 것으로 유명하다. “아마도 전 세계적으로 컴퓨터에 대한 시장 수요는 다섯 대 정도가 될 겁니다.” 상상하기 어려운 것은 새로운 발명품이 어떤 용도에 쓰일 것이냐 하는 부분이다. 사실 이 부분에 대한 예측은 발명자 본인도 다른 사람들보다 그다지 나을 게 없다. 현재 딥러닝과 인공지능을 놓고 한편에서는 이상적인 시나리오를, 다른 한편에서는 종말론적 시나리오를 각양각색으로 펼쳐놓고 있지만, 가장 상상력이 풍부한 공상과학 소설가조차도 그것들의 궁극적인 영향은 짐작할 수 없다고 봐야 옳다.
• 인간의 기억은 변덕스럽고 이야기를 반복할 때마다 조금씩 변한다. 이른바 재강화 reconsolidation라는 과정을 통해서다.

 

1부 지능의 재해석

 

1장 머신러닝의 부상 

• 진보를 가능케 하는 연료는 무한히 축적되는 데이터다. 데이터가 새로운 종류의 기름이고 학습 알고리즘이 원료 데이터에서 정보를 뽑아내는 정유공장인 셈이다. 정보는 지식을 창출하는 데 쓰일 수 있고, 지식은 이해를 이끌어내며, 이해는 지혜의 바탕이 된다. 0
• 딥러닝은 수학과 컴퓨터공학, 신경과학에 뿌리를 두고 있는 머신러닝의 한 분야다. 딥러닝 네트워크는 아기들이 자신을 둘러싼 세상을 배워나가는 것과 같은 방식으로 데이터를 통해 학습한다. 생생한 눈으로 시작해 점차 새로운 환경을 탐색하는 데 필요한 기술을 습득해나가는 아기들처럼 말이다. 딥러닝의 기원은 인공지능을 창출하는 방법에 관한 두 가지 다른 시각이 경합을 벌이던 1950년대의 인공지능 태동 시점까지 거슬러 올라간다. 하나는 로직과 컴퓨터 프로그램에 기초한 시각으로 수십 년 동안 인공지능 세계를 지배했으며, 다른 하나는 데이터로부터 직접 학습하는 방식에 기초한 시각으로 성숙 단계에 이르기까지 그보다 더 오랜 시간이 걸렸다.
  오늘날의 기준으로 볼 때 컴퓨터가 보잘것없고 데이터 저장에 많은 비용이 들던 20세기에는 로직이 문제를 해결하는 효율적인 방법이었다. 숙련된 프로그래머들이 각각의 문제에 대해 서로 다른 프로그램을 작성했고, 문제가 클수록 프로그램도 커졌다. 하지만 컴퓨터의 역량이 커지고 빅데이터가 풍부해진 오늘날에는 학습 알고리즘을 사용해 문제를 해결하는 것이 더 빠르고 보다 정확하며 훨씬 효율적이다. 또한 동일한 학습 알고리즘이 서로 다른 문제를 해결하는 데 이용될 수 있다. 각각의 문제에 서로 다른 프로그램을 작성하는 것보다 훨씬 덜 노동 집약적인 솔루션이 나온다는 뜻이다.
• 자율주행 자동차는 곧 수백만에 달하는 트럭 및 택시 운전사들의 생계를 파괴할 전망이다. 결국 도시에서는 승용차를 소유할 필요가 없어질 것이다. 언제든 자율주행 자동차가 1분 안에 나타나 목적지에 안전하게 모셔다줄 테니까 말이다. 직접 주차할 필요도 없으니 금상첨화가 아닐 수 없다. 현재 일반적인 승용차의 주행 시간은 4퍼센트에 불과하다. 이는 곧 차의 생애 중 96퍼센트의 시간 동안에는 어딘가에 주차해둬야 한다는 의미다. 자율주행 자동차가 상용화되고 도시 밖에 주차되는 시대가 오면 현재 도시에서 주차장으로 쓰이는 방대한 면적이 보다 생산적인 목적으로 재활용될 것이다. 도시 계획가들은 이미 주차장을 공원화하는 방안 등을 그려보고 있다.
• 자동차와 관련된 여러 다양한 비즈니스들도 영향을 받을 것이다. 보험사와 정비소가 대표적이다. 속도위반이나 불법주차도 없어질 것이다. 음주운전이나 졸음운전으로 인한 사망 사고도 크게 줄어들 것이다. 출퇴근길에 운전하며 소비하는 시간도 다른 목적에 쓰일 것이다. 미 인구조사국에 따르면 2014년 1억 3,900만 명의 미국인이 근무일 출퇴근길에 쓰는 시간은 평균 52분이었다. 이는 연간 총 296억 시간에 해당하며 보다 나은 용도에 쓸 수 있었던 340만 년이라는, 인간 삶의 귀한 시간이다. 헤매는 일 없는 질서정연한 운행으로 고속도로의 수용 능력이 4배 정도 증가할 것이다.5 그리고 운전대 없이 목적지를 찾아갈 수 있는 자율주행 차량이 일단 개발되어 널리 이용되면 차량 절도가 종식될 것이다. 자율주행 자동차가 상용화되기까지 물론 많은 규제와 법적 제약이 따르겠지만, 일단 그런 세상이 도래하면 우리는 완전히 신세계에서 살게 될 것이다. 트럭이 아마 지금부터 10년 정도 후에 가장 먼저 운전자 없는 차량으로 도로를 누빌 것이다. 택시는 15년 정도 후에 그렇게 될 것이고, 일반 승용차는 15년 후부터 20년 후 사이에 자율주행 차량으로 전환될 것이다.
• 뉴욕증권거래소 거래의 75% 이상이 자동화된 상태다. 
• 금융 서비스는 이른바 ‘핀테크(fintech)’라는 금융 기술의 기치 아래 보다 광범위한 변혁을 겪고 있다. 금융 거래에서 금융 중개자를 대체하는 안전한 인터넷 원장인 블록체인과 같은 정보기술은 아직까지는 소규모로 테스트되고 있지만 조만간 수십 억 달러 규모의 금융 시장을 파괴할 수도 있다. 머신러닝은 현재 대출 관련 신용 평가를 개선하고 비즈니스 및 재무 정보를 정확하게 전달하고 소셜 미디어에서 신호를 수집해 시장 동향을 예측하고 금융 거래에 생체 인식 보안을 제공하는 데 사용되고 있다. 세상에는 금융 데이터가 널려 있고, 가장 많은 데이터를 보유하면 누구든 승자가 된다.
• "실생활은 블러핑과 작은 속임수 그리고 내가 무엇을 어떻게 할것이라 상대가 생각할지 판단하는 일로 이뤄집니다. 그것이 내 이론에서 게임이 의미하는 모든 것입니다." - 폰 노이만
• 환경은 유전자 조절에 영향을 미치고, 이는 다 뇌 연결성에 영향을 미쳐 행동 방식의 변화를 이끌어낸다. 인간이 갈수록 인위적으로 창조된 환경에 많이 살게 됨에 따라 뇌 역시 점점 자연이 결코 의도한 바 없는 방식으로 형성되고 있다. 
• 일자리의 전환은 새로운 현상이 아니다. 19세기에도 농장 근로자들은 기계에 의해 대체되었고 기계로 인해 도시의 공장들에 새로운 일자리가 창출되었으며 이 모든 상황으로 인해 새로운 기술을 훈련시키는 교육 시스템이 등장했다. 그 당시와 현재의 차이점은, 오늘날 인공지능이 열어놓는 새로운 일자리는 전통적인 인지 기술과 더불어 새롭고 다르며 끊임없이 변화하는 기술을 요구한다는 사실이다. 그 때문에 우리는 경력 전반에 걸쳐 학습해야 할 필요가 생겼다. 그리고 그것이 가능하려면 학교가 아닌 가정을 기반으로 하는 새로운 교육 시스템이 필요하다.
• 이 책에는 인간의 지능이 진화한 과정과 인공지능이 진화하고 있는 방식이라는 두 가지 주제가 얽혀 있다. 이 두 종류의 지능 사이의 가장 큰 차이점은 인간의 지능은 진화하는 데 수백만 년이 걸렸지만 인공지능은 수십 년 범위 안에서 측정 가능한 궤도를 따라 진화하고 있다는 사실이다. 비록 인공지능이 문화 진화와 관련해서조차 가공할 초고속으로 달리고 있지만, 안전벨트를 매고 몸을 도사리는 것은 올바른 반응이 아닐 수도 있다.

 

2장 인공지능의 재탄생 

• 컴퓨터 비전은 픽셀이 아닌 특징에 초점을 맞춤으로써 진보하기 시작했다.
• 수학적 정리의 증명은 최고 수준의 지능을 요하는 것으로 생각되는 과정이다. 논리적으로 생각하는 능력은 진화에서도 늦은 단계의 발달에 속하며, 심지어 인간의 경우에도 정확한 결론에 이르려면 일련의 논리적 명제를 체계적으로 따르도록 훈련을 받아야 하는 무엇이다. 반면에 우리가 생존을 위해 풀어야 할 대부분의 문제는 대개의 경우 이전 경험에 기초한 일반화만으로도 잘 해결할 수 있다.
• 인간 지능의 기능을 가진 컴퓨터 프로그램을 작성하려고 애썼던 인공지능 개척자들은 인간의 뇌가 실제로 어떻게 지능적인 행동 방식을 성취했는지에 대해서 관심을 갖지 않았다. 내가 뉴얼에게 그 이유를 물었을 때, 그는 개인적으로 뇌 연구에서 나온 식견을 얻고 싶어 개방적인 자세를 취했지만 당시는 그저 뇌에 관한 내용이 충분히 파악되지 않았던 시절이라 쓸 만한 정보가 별로 없었다고 답했다.

3장 뉴럴 네트워크의 여명 

• 인공지능의 모든 난제를 풀 수 있다는 유일한 실존 증거는 자연이 이미 진화를 통해 그것들을 해결했다는 사실뿐이다. 그러나 만약 인공지능 연구원들이 애초부터 상징 처리(symbol processing)와는 근본적으로 다른 접근 방식을 취했더라면 1950년대에도 컴퓨터가 실제로 지능적인 행동 방식을 취할 수 있는 실마리가 잡혔을 것이다.
  
  첫 번째 단서는 우리의 뇌가 강력한 패턴 인식 기능을 갖췄다는 사실이었다. 인간의 시각 시스템은 여러 가지가 뒤섞인 어수선한 장면에서도 특정 객체를 영점 몇 초 사이에 인식할 수 있다. 해당 객체를 전에 본 적이 없는 경우에도 그렇고, 일정한 크기만 갖췄다면 그것이 어떤 위치에 어떤 방향으로 놓여도 그렇다. 간단히 말해서 우리의 시각 시스템은 ‘객체 인식’을 단일 명령으로 처리하는 컴퓨터처럼 움직인다.
  
  두 번째 단서는 우리의 뇌가 연습을 통해 피아노 연주에서 물리학 학습 등에 이르는 많은 어려운 작업의 수행법을 배울 수 있다는 사실이었다. 자연은 범용 목적의 학습을 이용해 특수한 문제를 해결하며 인간은 그런 학습의 달인이다. 이는 실로 우리의 특별한 힘이다. 딥러닝 네트워크는 우리의 모든 감각 및 운동 시스템에서 발견된다.
  
  세 번째 단서는 우리의 뇌가 로직(논리)이나 규칙으로 가득 차 있지 않다는 사실이었다. 물론 우리는 논리적으로 생각하거나 규칙을 따르는 법을 배울 수 있지만, 많은 훈련을 한 후에도 잘하지 못하는 경우가 허다하다. 이를 잘 보여주는 예가 ‘웨이슨 선택 과제(Wason selection task)’라는 논리 테스트에 나타나는 전형적인 수행력이다.
  
  네 번째 단서는 우리의 뇌가 서로 끊임없이 소통하는 수십 억개의 작은 뉴런으로 가득 차 있다는 사실이었다.
  

  

  
  
• 퍼셉트론이 얼마나 잘 분류할 수 있는지, 이것이 퍼셉트론의 수행력에 대한 진정한 척도가 된다. 여기서 중요한 개념은 일반화다. 실생활에서 우리가 같은 객체를 전과 똑같은 방식으로 보거가 똑같은 상황에서 조우하는 경우는 결코 일어나지 않는다. 결국 새로운 광경이나 상황에 예전의 경험을 일반화해서 적용할 수 있어야 폭넓은 영역의 실세계 문제를 다룰 수 있게 되는 것이다.

• 추론은 영역에 의존하는 것으로 보인다. 우리가 해당 영역에 익숙할수록 관련 문제의 해결이 용이해진다는 뜻이다. 영역 내의 문제 해결에서는 경험이 크게 도움이 된다. 과거에 접한 사례를 이용해 해결책을 직관적으로 떠올릴 수 있기 때문이다. 예를 들어 물리학을 공부할 때 우리는 공식을 암기하는 것이 아니라 많은 문제를 풀어봄으로써 전기나 자기 같은 영역을 학습한다. 만약 인간의 지능이 순수하게 로직에 기반한다면 영역에 종속되지 않아야 마땅하다. 하지만 그렇지 않지 않은가.
• 남성 및 여성의 얼굴 식별이 흥미로운 작업인 이유는 우리 인간이 그 일을 꽤나 잘해내지만 남성 및 여성 얼굴의 어떤 점이 어떻게 다른지를 정확하게 설명할 수는 없다는 데 있다. 어떤 단일 특징도 결정적이지 않기 때문에 이 패턴 인식 문제는 많은 수의 낮은 수준 특징으로부터 증거를 수집해 결합하는 일에 달려 있다.

4장 두뇌 방식의 컴퓨팅 

• 물리학에서의 힘과는 달리 뇌 회로는 목적을 갖는다. 세상에서 생존하기 위해 보는 것이나 움직이는 것과 같은 연산적인 문제를 해결하는 것이 그 목적이다. 심지어 뉴런의 작용 방식에 대한 완벽한 물리적 모델조차도 그 목적에 대해서는 아무것도 말하지 못한다. 뉴런은 정보를 전달하는 신호를 처리하는 일에만 종사하기 때문이다. 결국 자연을 이해하려는 시도에서 빠진 연결고리는 연산이었다.

5장 시각 시스템에서 얻은 통찰 

• 시각은 인체에서 가장 잘 발달된 동시에 가장 많이 연구되는 감각기관이다. 우리는 한 쌍의 전두안구를 통해 절묘한 양안 깊이 지각을 하며 우리의 대뇌피질의 절반이 시각에 관여한다. 아이러니한 것은 우리가 그렇게 잘 볼 수 있다는 점이 그동안 우리로 하여금 비전 문제의 그 어마어마한 연산적 복잡성을 못 보게 만들었다는 사실이다. 
• 우리 뇌의 뉴런 대부분은 우리가 태어날 때 보유하는 것과 동일하지만, 그런 뉴런의 거의 모든 구성 요소와 그것들을 연결하는 시냅스는 날마다 변화를 겪는다. 단백질은 마모되면서 교체되고 세포막의 지질은 새로 교체된다. 그러나 역동적인 재편성이 이뤄지는 데도 우리의 기억이 평생 유지되는 것은 신비로운 일이 아닐 수 없다.
• 신경과학 분야에서 가장 흥미로운 연구 영역 중 하나는 뇌의 학습에 관한 것이다. 이 영역은 분자에서 행동 방식에 이르는 아주 다양한 수준에서 연구를 수행할 수 있기 때문이다.

 

 

 

 

2부 기술적 영향과 과학적 영향

 

6장 머신러닝의 미래

• 인간의 뇌를 역설계한다면 자연에 의해 발견된 수많은 새로운 알고리즘에 대해 알 수 있을 것이다.
• "아주 작고 점진적인 변화일지라도 그것이 십 억개가 모인다면 엄청난 도약입니다."
• 실질적으로 인간의 몸은 뇌의 구성 요소, 체화된 인지의 중심 원리이다.
• 인간의 뇌는 신체 전반에 걸쳐 자율성의 정도를 순조롭게 제어할 수 있다.
• 44개의 안면 근육 상태를 보여주는 '얼굴 움직임 부호화 시스템'
• 놀랍게도 인간의 뇌는 주변에서 무슨 일이 일어나는지 전혀 알 수 없는 수면 중에도 작동할 수 있다. 단, 잠들기 전 해결하고자 하는 문제에 집중했을 때 그렇다는 말이다. 그렇게 잠든 후 아침에 눈을 뜨면 대개 문제 해결에 도움이 되는 신선한 아이디어가 불쑥 떠오른다.
• 인공지능은 무형의 정보 경제를 가속화하고 있다. 

 

7장 알고리즘의 시대

• 알고리즘이란 계산 또는 문제 해결의 과제를 수행함에 있어 일련의 개별적 단계 또는 규칙들을 순차적으로 거쳐나가는 과정을 말한다. 
• 생명의 본질적 특성은 세포의 자가 복제 능력에 있다.
• 뇌는 완벽할 수는 없을지언정 많은 뉴런이 동시에 함께 일하기 때문에 각 단계별 성취도는 컴퓨터가 단일 단계에 이룰 수 있는 것보다 훨씬 높으며 논리적 깊이 또한 컴퓨터보다 덜 필요로 한다.
• 생명이 있는 생물 종들은 각각 살아 있는 알고리즘의 공간 내의 한 지점을 중심으로 한 변형 유전자 배열에 의해 만들어진 개체의 집단이다. 그리고 자연계는 무작위 변형에 의한 국소적 탐색과 더불어 일명 단속 평형이라 불리는 도약 과정에서 자연선택에 의해 집단에서 집단으로 건너뛰기를 수행해오고 있다. 유전적 알고리즘은 대체로 자연이 새로운 유기체를 진화시키는 방법에 기초를 두고 그와 같은 건너뛰기가 가능하도록 설계된 것이다. 

8장 헬로, 미스터 칩스

• 그래픽 애플리케이션과 게임 구동에 최적화된 특수 목적 디지털 칩, '그래픽처리장치 GPU'를 개발한 앤비디아의 경우 현재 딥러닝과 클라우드 컴퓨팅을 위한 특수 목적 칩의 판매량이 훨씬 많다. 구글은 자사의 인터넷 서비스에 사용되는 딥러닝 기능을 강화하기 위해 보다 효율적인 특수 목적 칩인 텐서처리장치 TPU를 자체 개발했다.
• 무어의 법칙은 칩의 처리 성능만을 고려했을 뿐이다. 향후 50년간 병렬 구조가 지속적으로 진화한다면 무어의 법칙은 에너지와 함께 처리량까지 고려하는 새로운 법칙으로 대체되어야 할 것이다.

9장 내부 정보

• 디지털 컴퓨터에서 메모리와 CPU는 공간적으로 구분되어 있으며 메모리에 저장된 데이터는 반드시 순차적으로 CPU로 이동해야 한다. 뉴럴 네트워크에서는 처리 과정이 메모리에서 동시에 발생하므로 메모리와 처리 과정 간 발생하는 디지털 병목현상이 없다. 결국 네트워크의 모든 유닛들이 전부 동시에 작동하므로 대량 병렬 처리가 가능하다. 뉴럴 네트워크에서는 소프트웨어와 하드웨어의 구분도 없다. 학습은 하드웨어에 변화를 줄 때 시작된다.
• 정보의 폭발은 생물학을 정량적 과학으로 바꿔놓았다.

10장 인식

• 시각 수직 계층의 상위 단계에서는 다수의 뉴런들이 오직 인지된 이미지에만 반응한다. 인지의 신경학적 상관관계가 형성되도록 뉴런이 발화될 수 있을 만큼 충분하지 않은 것이다. 우리는 다만 시각 영역의 수직 계층 전반에 배분되어 협력적 방식으로 작동하는 활성화된 뉴런의 하위집합에 나타난 것만 인지할 수 있을 뿐이다.

11장 자연은 인간보다 영리하다

• DNA 이전에는 RNA가 전구체라고 추측했다. 그 가능성을 뒷받침하는 증거는 RNA 기반의 효소로 RNA 반응의 촉매 작용을 하는 리보자임의 형태로 발견되었다. 모든 생명체가 초기 'RNA 세상'으로부터 유래되었을 가능성이 충분하다. 그렇다면 RNA는 어디서 온 것인가? 불행하게도 그것을 증명할만한 자료는 그리 많지 않다.
• 진화는 인간보다 영리하다.
• 민스키의 '일반 지능'이란 무엇을 의미하는가? 일반 지능은 보다 단순한 대행자들 사이의 상호 작용을 통해 드러난다.

12장 심층 지능

• 다양한 생물 종에서 주어진 특정 환경에서 생존과 직결되는 문제를 해결하기 위해 지능이 전환되었다.
• 현대 문명의 발달이 가능했던 것은 음성 언어가 아니라 쓰기와 읽기 그리고 학습 덕분이다.
• 강화학습의 기저를 이루는 시간차 학습 알고리즘이 고도로 복잡한 행동으로 이어질 수 있고 대뇌 피질에서 이뤄지는 딥너링에 의해 인간의 행동은 그보다 더 복잡해질 수 있다.
• 딥러닝은 비용함수의 최적화에 의존한다. 자연의 비용함수는 무엇인가? 진화의 정반대 비용은 적합성이다. 그러나 이 적합성은 환경적이든 또는 최적화된느 시스템으로부터든 구체적 제야 조건의 집합을 전제로 할 때 비로소 의미를 가지는 개념이다.

 

 

 

 

3부 다양한 학습 방법

13장 칵테일파티 문제

• 인간의 관점에서 본다면 뇌 속에서 발생하는 그 모든 사건들을 촉발시키는 것은 우리의 자의적 의사결정이다. 그러나 자기 성찰적 관점에서 본다면 인과관계는 물리학과 생화학의 맞은편에서 작용하고 있는 것 같다. 이 두 가지 관점을 어떻게 조화시킬 것인가?

14장 홉필드 망과 볼츠만 머신

• 진보 과정을 견인한 것은 우리가 가장 필요로 할 때 느닷없이 하늘에서 뚝 떨어진 그 것, 다름 아닌 보다 빠른 학습 알고리즘이었다.

15장 오류의 역전파

• 안장점이란 오류로 인해 일부 방향은 위를 향하고 다른 차원들은 아래를 향하는 지점을 말한다. 

16장 컨볼루션 러닝

• 대뇌피질이 포유류의 발명품이며 영장류, 특히 인간에게서 급속도로 늘어났다. 대뇌피질이 확장되면서 고차원적 표상을 위한 연관 영역에 보다 많은 수의 층이 더해지고 보다 큰 용량을 사용할 수 있게 되었다. 

17장 보상학습

• 연상학습에서는 정답 또는 오답, 이렇게 단 한 개의 보상 신호만 주어질 뿐이다. 어떤 특징이 성공적인 의사결정으로 어이지는 요인인지 뇌 스스로 알아내야만 한다.
• 인과관계는 중요한 자연의 원리이다.

• 도파민 뉴런은 뇌에서 동기부여를 제어하는 핵심 시스템을 구성한다. 모든 중독성 약물은 도파민 활동의 수준을 증가시키는 작용을 한다. 
• 도파민 뉴런은 '기저핵'이라고 하는 뇌의 부분으로부터 인풋을 받아들인다. 기적핵은 순서 학습과 습관적 행동 방식의 형성에 중요한 영향을 미친다.

18장 NIPS

• 최근의 급성장은 그동안 활용 가능성이 점차 확대되어온 빅데이터에 기인한다.

NeurlPS