먼저 딥러닝의 개념에 대해 짚고 넘어가자.

기계가 학습한다는게 사실 잘 와 닿지가 않을텐데 사실 딥러닝이 왜 그렇게 잘 동작하는지는 현재 아무도 모른다. 마치 인간이 인간의 뇌가 어떻게 동작하는지 모르는 것과 마찬가지라고 보면 된다. 딥러닝에서는 뉴럴 네트워크 (알파고 논문보면 policy network, value network 라고 나오는) 라고 불리는 인공신경망이 존재한다. 이 인공신경망은 마치 사람의 뇌처럼 뉴런과 시냅스를 모델링하여 각각 노드와 노드간의 링크로 구성되고 각각의 노드가 하는 일은 input에 대해 단순한 신호를 생성하는 것 뿐이다.

그럼 학습한다는 것은 무엇인가?

이 뉴럴 네트워크에 어떤 input을 주면 각각의 노드를 거쳐 output 이 나올 것이다. 이 때 이 결과가 원하는 결과에 수렴(convergence) 하도록 각각의 뉴런(노드)의 가중치를 조절하는 것이 딥러닝 개발자들의 역할이다. 이런식으로 학습시키는 알고리즘을 Backpropagation 이라고 한다.

예를 들어 구글에서는 딥러닝 알고리즘으로 고양이와 강아지를 컴퓨터가 구분하게 했다. 이 때 고양이와 강아지라고 알려주고 학습을 시킨 것이 아니고 개와 고양이가 있던 없던 랜덤하게 선택된 엄청난 양의 이미지를 input으로 준 결과 거기서 "고양이"스러움과 "개"스러움을 컴퓨터가 구분해 낼 수 있었다는 것이다.

마찬가지로 바둑에서도 각종 행마법과 정석과 같은 패턴이 존재한다. 대마잡이도 일정한 패턴(사람은 인식하지 못하는)이 존재 한다고 유추해 볼 수 있다. 왜냐면 2집을 못 나게 하기 위한 목적을 가지고 돌을 두기 때문이다. 사람이 의식하는 일종의 "목적"이 은연중에 패턴으로 표현된다고 생각해보면 바둑 프로기사들은 자신도 모르게 어떤 패턴으로써 돌을 두고 있는 것이다. 우리는 이 패턴을 기풍이라고 표현하기도 하고 격언, 정석 등 다양한 종류의 언어로 표현한다. 그러나 이것들은 모두 컴퓨터에게는 "패턴" 이라는 하나의 공통된 개념으로 다룰 수 있다. 물론 패턴만으로 돌을 두는 것은 아니다. 때문에 Deep learning 만으로는 한계가 있다. (몬테카를로 트리 탐색 알고리즘이 필요한 이유이다)

좀 더 쉽게 설명하자면 공학도라면 흔히 blackbox 라는 개념을 들어 봤을 것이다. input 이 blackbox를 거쳐 output이 나오는데 이게 원하는 결과라는 것이다. 또한 blackbox자체가 점점 원하는 output으로 수렴하도록 하는 것이 현재의 머신러닝이다. 가히 기계가 학습을 한다고 말할 수 있을 법 하다. 앞으로 머신러닝 개념을 설명할 때는 이 intput, output 관점에서의 접근으로 설명하도록 하겠다. 왜냐면 이게 가장 이해하기 쉬우면서도 실제 머신러닝을 잘 추상화 한 것이기 때문이다.

이게 알파고에서 어떻게 쓰였는지를 설명하자면 알파고는 기존의 몬테카를로 방식을 딥러닝을 통해 한층 강화한것이라고 보면 된다.

몬테 카를로 방식은 기본적으로 다음 둘 수를 정할 때 그 수를 둔 이후로 끝까지 게임을 진행했을때 이길 확률이 가장 높은 수를 선택한다. 그런데 바둑은

모든 경우의 수를 탐색하는 것이 불가능하기 때문에 탐색할 때 아예말이 안되는 수 (끝까지 탐색할 가치가 없는 수들)를 얼마나 잘 배제하냐가 관건이 된다.

너무 당연한 소리만 해서 미안하다. 이제부터 딥러닝의 개념이 사용된다. 이 경우의 수를 줄여가는 방법에는 2가지가 있다. 하나는 탐색의 너비를 줄이는 것이고 다른 하나는 탐색의 깊이를 줄이는 것이다. 탐색의 너비를 줄인다는 것은 현재 바둑판의 형세상 도저히 두면 말이 안되는 곳들을 배제하는 것이다. 즉, 놓을 만한 자리들의 경우의 수를 줄일 수 있다. 알파고에서는 딥러닝을 사용해서 기존 프로기사들의 3천만회의 착수를 policy network 라는 뉴럴 네트워크에 학습시킨다. 이렇게 이미 존재하는 데이터를 학습시키는 것을 머신러닝 에서는 supervised learning(지도학습) 이라고 한다. 즉, input output의 블랙박스 개념으로 policy network 를 설명하면 현재 판의 상태를 (s) 라고 했을 때 policy network의 input 은 s가 되고 output은 확률분포 p(a|s) 가 된다. 즉, 가능한 착점들에 대한 확률분포가 각 판의 상태(형세)에 따라 결정될 수 있다는 뜻이다.

이 과정이 끝난 알파고는 프로기사가 두는 수를 57%정도 예측한다고 한다. (논문 저자들이 실험해본 결과)

57%로는 아직 부족하다. 다음 학습은 방금 형성된 policy network를 가지고 이전의 policy network(학습이 덜 된)와 게임을 붙여서 현재 policy network를 향상시킨다. 이것이 이해하기 힘든 사람들을 위해 더 쉽게 설명하자면 3000만개의 프로기사들의 착수를 보고 대충 바둑두는 법을 배운 어떤 사람이 있다고 하자. 그런데 이 사람은 자신보다 적은 게임을 보고 바둑을 배운 사람한테 무조건 이긴다고 장담할 수 없다. 따라서 1회의 착수만을 보고 배운 사람부터 n-1회의 착수를 보고 배운 사람까지 다양한 사람들과 계속 게임을 하면서 자신의 약점을 보완해 나간다. 이 과정을 Reinforcement learning 이라고 한다.(강화학습)

알파고는 policy network가 약간만 향상되어도 컴퓨터의 실력은 일취월장한다. 왜냐면 바둑에서 한 수를 잘 둔것이 적게는 수집에서 많게는 수십집의 영향력을 갖기 때문이다. RL이 끝난 시점에서 SL만 했던 알파고와 1:1을 붙인 결과 80%이상의 승률이 나왔다고 논문에 써있다.여기까지가 policy network에 대한 대략적인 개념이다.