AI로 노벨상 수상한 데미스 허사비스의 알파고제로에 관한 논문에 못박아버린 내용이라 오피셜일 수 밖에 없음

알파고 버전별 성능 평가에 가장 중요하게 사용된게 Elo 시스템이고 논문 내용이 거의 온통 Elo 기준으로 성능이 올랐고 내렸고를 놓고 연구한 결과임

Elo가 실력지표로서 무가치하다면 이 논문의 전제가 틀린거고 논문 전체를 폐기해야되는 상황임.

결론은 이거 부정하는 놈들은 노벨상급 권위를 부정하는거라고 봐도 됨.

https://discovery.ucl.ac.uk/id/eprint/10045895/1/agz_unformatted_nature.pdf

해당 논문 30쪽에 산식도 당연히 나와있음

Evaluation We evaluated the relative strength of AlphaGo Zero (Figure 3a and 6) by measuring the Elo rating of each player. We estimate the probability that player a will defeat player b by a logistic function p(a defeats b) = 1 1+exp (celo(e(b)−e(a)) , and estimate the ratings e(·) by Bayesian logistic regression, computed by the BayesElo program 25 using the standard constant celo = 1/400.

여기 사용된 Bayesian logistic regression 이 그 고레이팅 맞음 https://www.remi-coulom.fr/WHR/

Whole-History Rating: A Bayesian Rating System for Players of Time-Varying Strength

Whole-History Rating: A Bayesian Rating System for Players of Time-Varying Strength

www.remi-coulom.fr

동 논물 11쪽에 공개된 오피셜 성능지표

Figure 6b shows the performance of each program on an Elo scale. The raw neural network, without using any lookahead, achieved an Elo rating of 3,055. AlphaGo Zero achieved a rating of 5,185, compared to 4,858 for AlphaGo Master, 3,739 for AlphaGo Lee and 3,144 for AlphaGo Fan. 

현재 신진서보다 100점 낮고 랭킹 2위 보다는 높음.

결론은 당시 이세돌 버전의 알파고는 현재 인간 최고수 수준인게 '오피셜'임.