딥마인드는 알파고vs이세돌 대국 수순별 승률 그래프를 공개했었는데,

그 자료는 아래의 David Silver 공홈에 가면 찾을 수 있음.

그런데, 이게 AlphaGo Lee 버전의 진짜 실력을 추정해볼 수 있는 아주 강력한 근거로 활용될 수 있어. 어떻게?

카타고와 비교를 통해서

무슨 말이냐?

알파고 1국은

AlphaGo Lee 31수 승률 평가 : 55% 내외 유리

AlphaGo Lee 63수 승률 평가 : 70% 내외 유리

라고 AlphaGo Lee 버전이 평가했었는데, 최신 카타고는

최신 KataGo 31수 승률 평가 : 75% 내외 유리

최신 KataGo 63수 승률 평가 : 96% 내외 유리

물론, "위의 상황은 AlphaGo Lee의 평가가 더 맞다"고 주장할 수 있겠지만,

알파고 2국은

AlphaGo Lee 47수 승률 평가 : 50%~55% 내외 유리

라고 평가했는데,

2국 KataGo 47수 승률 평가 (346K 돌림) : 이세돌이 69% 1.5집 차이로 유리하다고 큰 격차를 보였음.

그런데, 이 상황을 블록10짜리 초기 뉴럴넷으로 돌려보면,

2국 KataGo 초기 10B 47수 승률 평가 : 알파고가 58% 3.6집 유리

즉, AlphaGo Lee의 평가와 KataGo 10B 초기 버전의 평가가 크게 다르지 않고, KataGo 최신과는 크게 다르다는 거야.

즉, 어떤 추론이 가능하다?

AlphaGo Lee 뉴럴넷 = KataGo 10B 초기 버젼과 비슷한 성능 != KataGo 최신 버전과는 상당한 격차로 더 떨어진다

왜 AlphaGo Lee 버전의 뉴럴넷이 떨어질 수 밖에 없느냐?

최신 KataGo는 AlphaGo Zero를 따라서 자체 인공대인공 대국에서 나오는 데이터로 학습했는데,

AlphaGo 판후이는 KGS 데이터로 지도학습을 했는데, 그 데이터가 ㅈㄴ 안 좋았고, AlphaGo Lee도 큰 차이 없었을 거야.

1. KGS 16만 경기 기보

2. 6단~9단 (프로만의 대국이 아니라 일반 아마츄어 포함임)

3. 그 중에 35%가 접바둑 기보

학습 문제들이 수학 문제들처럼 100% 완벽한 정답 데이터셋들도 있지만,

바둑 기보 문제들은 고수의 정답이라고 하더라도 생각보다 정답률이 낮을 텐데, KGS 6단~9단들의 정답이면 훨씬 떨어지겠지.

아무튼 2국의 저 장면은 AlphaGo Lee 버전의 실력이 의외로 구멍이 많다는 것을 증명해주는 것들 중 하나야.

알파고 3국은

AlphaGo Lee 22수 승률 평가 : 55% 내외 유리

라고 평가했는데,

카타고는 22수째에 이미 85% 4.5집 유리.

55%와 85%는 30% 차이로 큰 차이잖아.

알파고 4국 그래프야.

알파고 4국은 일단 78수에 대한 <판후이 대응법(판후이 해설에 나오기 때문에 이렇게 명칭)>의 묘수(8번째 수)를 찾느냐가 무척 중요해.

카타고 최신은 이 때 이미 97%로 대국 끝났댜~

근데, 초기 10블록은 AlphaGo Lee 승률과 비슷한 77%를 찍고 있고, 저짝이짝와따루가따루 하고 있어.

즉, AlphaGo Lee와 이 상황 승률이 비슷한 카타고 초기 10블럭은 판후이 대응법을 못 찾고 있었다는 거지.

얼마나 못 찾느냐?

5수째까지 놔주고 157K나 돌렸는데도 못 찾고 딴데 둬서 69%래.

저렇게 생각을 하고 있고.

7수째까지 둬주니까 드디어 찾아서 승률 78%로 복귀.

무슨 추론이 가능하냐?

AlphaGo Lee도 78수 시점에 ㅈㄴ 헤메이시고 계셨을 거라는.

78수 시점은 상상이상으로 엄청나게 복잡한 시점이고, 그래서 AlphaGo Lee는 85수 때까지 뭔 일 터졌는지 인지 못하고 있었어.

알파고 5국은 57수 상황에 엄청난 사건이 터지고 있었는데,

카타고 초기 10B은 저 상황에 251K나 돌렸는데도 묘수를 못 찾고 AlphaGo Lee의 승률과 비슷한 75%를 찍고 있지만,

동일한 상황을 최신 카타고로 돌려보면, 바로 찾아서 95% 찍음.

이 부분에서도 AlphaGo Lee는 실수를 해서 84% +4.2집 될 수 있는 상황을

78% +3.0집으뤄 뒀어.

아무튼 이런 방법으로 알파고 리 버전의 능력을 추정해볼 수 있다는 것.

기타 여러 방법으로 알파고 리 버전이 생각보다 능력이 떨어졌을 거라고 주장할 수 있지만, 이 방법이 가장 근거가 명확함.