▲ 지금까지의 알파고와는 완전히 다른 '알파고 제로(AlphaGo Zero)'. 알파고 제로가 바둑 입문을 하는 것부터 역대 최강이 되기까지의 과정을 보고 있으면 바둑이론의 진화를 한눈에 보는 듯한 느낌이 든다. [이미지 | 구글]
인간의 기보를 전혀 학습하지 않은 알파고 새 버전 ‘알파고 제로(AlphaGo Zero)’가 베일을 벗고 세상을 놀라게 하고 있다.
지금까지의 알파고는 인공신경망 속에서 지도학습(supervised learning)이라는 인간기보 학습을 거쳤지만 알파고 제로는 이 과정을 거치지 않았다. 오직 스스로 대국하면서 강화학습(reinforcement learning)으로만 실력을 키웠다. 바둑의 기본 규칙을 제외하고, 알파고 제로의 학습에 인간의 개입이 없는 것이다.
이렇게 ‘독학한’ 알파고 제로는 지금까지 가장 강하다고 알려져 왔던 ‘알파고 마스터(AlphaGo Master)’버전을 압도적으로 이기는 것으로 나타나 충격을 준다.
알파고 제로는 각각 같은 연산력(TPU 4대를 갖춘 싱글머신)에 제한시간 2시간의 조건으로 알파고 마스터와 100판을 겨뤄 89승11패 했다. 약 90%의 승률이다. 알파고 마스터는 올 초 인간 고수들을 상대로 60전 전승을 거둔 뒤 5월 세계 최강 커제 9단을 3-0으로 제압했던 버전인데 알파고 제로 앞에서는 상대도 안 되는 셈이다. (알파고 제로는, 이세돌 9단과 겨뤘던 알파고 버전에는 100전 100승을 기록했다.)
알파고 제로 알고리즘과 테스트 결과 등을 담은 논문 ‘인간 지식 없이 바둑을 마스터하다(Mastering the game of Go without human knowledge)’가 19일(한국시각) 과학학술지 네이처(Nature)에 게재됐다. 데미스 하사비스 딥마인드 창업자 겸 최고경영자를 포함한 알파고 제작사 구글 딥마인드 연구원 17명이 공동저자다.
무(無)에서 시작한 알파고의 진화속도는 놀라웠다
알파고 제로는 그야말로 아무데나 두는(완벽한 무작위 착수) 것으로부터 시작한 뒤 바둑의 개념(포석, 맥, 패, 끝내기, 수상전, 선수, 모양, 세력, 집 등)을 정교하게 이해하는 단계로 나아갈 때까지, 매우 빠른 속도로 진보하였다.
아무런 사전 지식 없이 오직 바둑 규칙만 입력된 알파고 제로는 훈련을 시작하면서 18급만도 못한 바둑을 보여줬다. '1의1'에도 거침없이 뒀다.
▲ 기보를 한 번도 보지 않았다. 그저 자기 자신과 바둑을 두면서 역대 최강의 바둑 실력을 갖출 때까지 알파고 제로에게 필요한 세월은 불과 40일이었다. [이미지 | 구글]
3시간이 지나자 바둑에 갓 입문한 사람의 수준이 되었다. 오직 상대 돌을 잡으러 다니는 데 혈안이 된 모습을 보였다.
19시간이 경과하면서 기본기가 갖춰지고 점차 사활·세력·집과 같은 바둑전략의 요소를 이해하기 시작했다.
3일이 지나면서 ‘알파고 리(AlphaGo Lee,이세돌 9단을 이긴 알파고 버전을 지칭)’수준을 넘어서기 시작했다.
▼ 훈련시작 뒤 3시간이 지난 시점의 알파고 제로의 셀프대국 - 마치 바둑교실 입문반 어린이들의 대국을 보는 것 같다. 돌을 잡는 데만 신경이 쏠려 있고 단수를 치면 잇지 않고 되단수를 쳐 오히려 자신이 잡히는 경우도 많이 보인다. 패에 대해서도 아직은 잘 이해하지 못하는 단계다.
▼ 훈련시작 뒤 19시간이 지난 시점의 알파고 제로의 셀프대국. - 알파고는 드디어 사활 개념을 이해하기 시작한다. 흑7과 흑19는 알파고 마스터의 기보에서 자주 보였던 일명 묻지마 삼삼(early 3-3 invasion)'이어서 우리에게 익숙하다. 단, 흑13이나 27을 이 시점에서 두는 것은 아까울 수 있다. 훗날 기분 좋을 A의 들여다봄 찬스가 줄어들기 때문이다. 13에 두는 이유는 역으로 상대가 그 자리에 두면 선수로 당하기 때문이다. 그럼에도 타이밍을 잘 보아야 한다.
▼ 훈련시작 뒤 70시간이 지난 시점의 알파고 제로의 셀프대국. 이 시점에서 알파고는 인간 수준을 뛰어넘는다.
인간 이론에서 변의 흑을 강화시켜주는 백6은 부분적으로 악수다. 흑23부터 펼쳐지는 우상공방은 예측이 쉽지 않다.
이후 좌하귀 변화는 알파고 제로들끼리 만들어 낸 신 정석. 흑63의 끊음이 최초로 시도됐다. 백은 지금처럼 64로 두어 왼쪽 한점을 잡거나 67의 자리에 응수할 수 있다. 흑63의 응수타진에 백은 주위 배석에 유의하며 행마하여야 한다.
21일이 경과하자 알파고 마스터와 비슷한 수준에 이르렀다.
40일 동안 약 3천만 대국을 훈련한 뒤엔 알파고 마스터를 크게 이겼다. 이 단계가 되자 알파고 제로는 기존 정석을 선호하지 않는 경향을 보였고 사람 수준에서 예측하기 어려운 참신한 변화가 증가했다.
인간의 기보를 안 거쳤더니 왜 더 강해졌을까
알파고 제로는 Elo레이팅 5,185점을 기록하고 있다. 알파고 마스터 4,858점, 알파고 리 3,739점, 알파고 판(판후이) 3,144점 순이다.
알파고 제로가 인간의 기보로 학습한 기존 알파고를 압도하는 이유를 놓고 연구진은 “사람이 그간 쌓아온 바둑에 대한 접근법과는 질적으로 다른 전략을 알파고 제로가 깨친 것으로 보인다.”고 짚었다.
▲ 알파고 제로, 그리고 기존 알파고 버전들의 Elo레이팅 비교. [이미지 | 구글]
논문의 공동저자 데이비드 실버(David Siver)는 “인간 지식의 한계에 더 이상 얽매이지 않기 때문.”이라고 강조했다.
이 밖에 정책망(policy network, 다음 수를 선택) 가치망(value network, 승자를 예측)으로 알려진 두 개의 신경망을 하나로 통합하여 훈련과 평가에 효율성을 높인 것도 이유의 하나로 꼽힌다.
●알파고 제로 ○알피고 리(이세돌을 이긴 알파고 버전)
225수 흑불계승
●알파고 제로 ○알파고 마스터(커제를 이긴 알파고 버전)
265수 흑불계승
●알파고 제로 ○알파고 제로
228수 백불계승
국가대표팀 “알파고 제로의 기보, 해석 어려워”
알파고 제로의 기보를 접한 국가대표상비군들은,
“인간의 기보를 전혀 보지 않고 훈련했는데도 인간의 바둑처럼 틀이 잡히는 변천 과정이 신기하다.”
“신선하다. 하지만 이전 알파고 마스터 버전의 셀프대국 55국이 워낙 파격적이었기에 충격파는 그렇게까지 크지 않다.”
“알파고 마스터의 바둑과 비교해 보면 오히려 알파고 제로가 더 인간과 비슷해 보이기도 한다.” 등의 반응을 보였다.
한편 “우리가 알파고 제로가 얼마나 강한지 평가하는 것은 마치 18급이 정상급 프로기사들을 비교하는 것이나 마찬가지.”라며 “알파고 제로의 사고방식이 도움을 주는 부분도 어느 정도 있지만 대부분은 해석조차 쉽지 않다.”는 목소리도 나왔다.
어느 교수가 여섯점 운운하길래 바둑을 전혀 모르는 무식한 발언이라 치부했었는데, 그 이상의 차이도 어쩌면 가능할지도 모르겠다. 알파고제로도 바둑신의 경지는 아닐 것이고. 그렇다면 바둑신이 있다면 석점 넉점에 목숨을 운운하던 프로들은 그야말로 하룻강아지 범 무서운 줄 모르고 한 허언일 수도 있겠다.
우리 눈에 보이는 저 하늘이 가장 높은 줄 알았지만,
하늘 위에 하늘있고 땅 밑에 또 땅이 있음에라.
jtleee
｜ 2017-10-19 오전 10:58:00 [동감0]
알파고 마스터한테 승률 100%가 아니니까 아직 알파고 제로가 바둑의 신은 아닌게 분명하
네.
ProblemMe
무쉭하신,,,,
foxair
｜ 2017-10-19 오전 10:53:00 [동감0]
스마트폰 인공지능도 말하는데.. 알파고 제로 분석 기능을 토대로 토킹 텍스트 기능 못 만드나? 왜 거기에 두는지 알아야 도움 될 텐데..
棋道精神
｜ 2017-10-19 오전 10:34:00 [동감1]
elo4000 넘으면 탈닝겡 5000넘으면 신과 인간의 영역의 사이... 얼마나 더 늘지 모르겟네....
인간과 칫수고치기를 한다면, 인간은 2점.3점에서 계속 질것이 명백하며, 멘탈이 붕괴되서 6점 치수까지 충분히 갈수 있습니다. 물론 그 전에 포기하겠죠. 그 압박감을 못 이깁니다. 호선에도 눈물 흘린 커제인데, 접바둑은..
ProblemMe
｜ 2017-10-19 오전 9:58:00 [동감1]
너 거덜 다들 봣제..... 우리의 영웅 이세돌 각하가 얼마나 위대한 분인지,,,, 알파고에 유일하게 1승한 이세돌 각하를 영원히 존경하라,,,,,,,
강소어
그 버젼은 돌파고이며, 마파고가 3점 접습니다. 그런 마파고도 제파고에게는 11승 89패로 밀리죠
ProblemMe
위대한 업적을 그리 개무시하는게 그리 기쁘오?????
아마전설
얼마전 k바둑에서 이세돌이는 알파고가 더 발전할 가능성이 있다면 은퇴하지 안았을 거라는둥 헛소리를 늘어 놓았고 그후 알파고는 이번에도 이세돌 까불지마,,란 식으로 알파고 제로를 등장시킴 알파고 이세돌 대결역시 이세돌에 완패였음은 누구나 다 아는 사실,, 이세돌 따위와 알파고를 같은 장소에서 거론 하는것 자체가 바둑을 모독하는 것임....
생사지존
｜ 2017-10-19 오전 9:05:00 [동감0]
인간의 성장속도를 훌쩍 뛰어넘네요 천재를 보는듯..
생사지존
｜ 2017-10-19 오전 9:01:00 [동감1]
햐.. 알파고마스터를 이긴 알파고제로라니.. 대단하네
최강한의사
｜ 2017-10-19 오전 8:25:00 [동감0]
Sai조차 구버전일 뿐이네요. 만화책에서나 나온 게 이렇게 빨리 현실이 되다니 놀랍습니다. 아니 이미 그 영역조차 넘어서다니...
백보궁
｜ 2017-10-19 오전 7:44:00 [동감0]
레이팅 점수.. 알파고 판 3,144점, 알파고 리 3,739점, 알파고 마스터 4,858점, 알파고 제로 5,815점 ..알파고 리만 하더라도 커제를 이길텐데 알파고 리와 알파고 제로의 점수 차이가 무려 2000점이 넘으니.. 그러면 커제와 알파고 제로는 몇점 바둑이란 말인가? 헉! 최소 넉점?
강소어
김진호 교수말이 현실화되고 있습니다.
棋道精神
김진호교수의 말은 시점에 안맞아서 비난을 받은것이지요.
그 시점에서 알파고리는 인간최고수인 커제랑 호선에두면 승률60~65정도나오는 실력이었
는데 그 시점에 알파고가 이세돌을 6점접는다는 말을해서 비난을 받은거죠. 지금도 5185점
이면 커제랑 6점은 아니네요 이론적으로도..... ㅎㅎ 김진호 교수의 그 당시의 발언은 명백한
헛소리죠.
소석대산
｜ 2017-10-19 오전 7:37:00 [동감0]
인간의 지식과 경험이 전혀 섞이지 않은 순수한 바둑괴물이 탄생했군요.
알파고 판 --> 알파고 리 --> 알파고 마스터 --> 알파고 제로
알파고 시리즈의 진화 속도가 정말 눈부십니다.
2천년동안 체화된 인간의 지식 창고를 한 순간에 거지의 쓰레기 무덤으로 바꿔버리는
<바둑의 신>의 위엄이라니!
삼진K
논문을 들여다보면
알파고가 정석들을 점점 발견해가는 과정이 나오는데
인간 바둑의 역사를 훑는 것 같아서 기분이 묘하더군요.
소석대산
그러게 말입니다.^^
빈지수
｜ 2017-10-19 오전 7:20:00 [동감0]
알파고와 박정환,커제가 치수 고치기 접바둑 두는 모습을 보고싶다.
ProblemMe
10점깔아도 못이기는데 뭥 치수 고치기.. 한심하긴...
그놈돌소리
10점? 바알못인거티내네 ㅋㅋㅋㅋ 남파간첩씨 ^^*
3~5점 이겟지.
장위동박
｜ 2017-10-19 오전 11:47:00 [동감0]
이세돌과 대국한 알파고 리를 100 대 0 커제가 힘 한번 써보지 못하고 패했던 알파고 리 보다도 한단계위 알파고 마스터와 90% 승률, 이제 인간의 바둑은 끝난것같다.(인간의 머리로는 100년을 공부해도 못따라 간다고)
백보궁
100대0..어디 그런 얘기가 있나?
3일만에 알파고 리를 넘어서고 21일만에 알파고 마스터와 비슷해지고 40일 동안 3천만 대국을 소화한 뒤에 알파고 마스터와 100판 중 89승 11패 했다는데..
넘 충격을 받으셨나?
삼진K
작년 3월 '구글 딥마인드 챌린지'에서 이세돌 九단을 4대 1로 이긴 버전('알파고
리'로 지칭)과 비교해 보면, 알파고 제로는 독학 36시간만에 이 버전의 실력을 넘
어섰다.
또 알파고 제로가 72시간 독학을 한 후 '이세돌 九단 대 알파고 리' 실전 당시와
똑같은 대국 조건(제한시간 2시간씩)에서 알파고 리와 대결한 결과, 100전 100
승 무패를 기록했다.
다른 기사에는 이런 내용이 있네요.
소석대산
연합뉴스 보도 내용을 보면 알파고 리와 대국하여 100전 100승, 알파고 마스터와
대국하여 89승 11패 했다고 나와있네요.
.gif){kind=logo}
hb96316
ProblemMe
棋道精神
최강한의사
장위동박
삼진K
입영전야愛
