▲ 지금까지의 알파고와는 완전히 다른 '알파고 제로(AlphaGo Zero)'. 알파고 제로가 바둑 입문을 하는 것부터 역대 최강이 되기까지의 과정을 보고 있으면 바둑이론의 진화를 한눈에 보는 듯한 느낌이 든다. [이미지 | 구글]
인간의 기보를 전혀 학습하지 않은 알파고 새 버전 ‘알파고 제로(AlphaGo Zero)’가 베일을 벗고 세상을 놀라게 하고 있다.
지금까지의 알파고는 인공신경망 속에서 지도학습(supervised learning)이라는 인간기보 학습을 거쳤지만 알파고 제로는 이 과정을 거치지 않았다. 오직 스스로 대국하면서 강화학습(reinforcement learning)으로만 실력을 키웠다. 바둑의 기본 규칙을 제외하고, 알파고 제로의 학습에 인간의 개입이 없는 것이다.
이렇게 ‘독학한’ 알파고 제로는 지금까지 가장 강하다고 알려져 왔던 ‘알파고 마스터(AlphaGo Master)’버전을 압도적으로 이기는 것으로 나타나 충격을 준다.
알파고 제로는 각각 같은 연산력(TPU 4대를 갖춘 싱글머신)에 제한시간 2시간의 조건으로 알파고 마스터와 100판을 겨뤄 89승11패 했다. 약 90%의 승률이다. 알파고 마스터는 올 초 인간 고수들을 상대로 60전 전승을 거둔 뒤 5월 세계 최강 커제 9단을 3-0으로 제압했던 버전인데 알파고 제로 앞에서는 상대도 안 되는 셈이다. (알파고 제로는, 이세돌 9단과 겨뤘던 알파고 버전에는 100전 100승을 기록했다.)
알파고 제로 알고리즘과 테스트 결과 등을 담은 논문 ‘인간 지식 없이 바둑을 마스터하다(Mastering the game of Go without human knowledge)’가 19일(한국시각) 과학학술지 네이처(Nature)에 게재됐다. 데미스 하사비스 딥마인드 창업자 겸 최고경영자를 포함한 알파고 제작사 구글 딥마인드 연구원 17명이 공동저자다.
무(無)에서 시작한 알파고의 진화속도는 놀라웠다
알파고 제로는 그야말로 아무데나 두는(완벽한 무작위 착수) 것으로부터 시작한 뒤 바둑의 개념(포석, 맥, 패, 끝내기, 수상전, 선수, 모양, 세력, 집 등)을 정교하게 이해하는 단계로 나아갈 때까지, 매우 빠른 속도로 진보하였다.
아무런 사전 지식 없이 오직 바둑 규칙만 입력된 알파고 제로는 훈련을 시작하면서 18급만도 못한 바둑을 보여줬다. '1의1'에도 거침없이 뒀다.
▲ 기보를 한 번도 보지 않았다. 그저 자기 자신과 바둑을 두면서 역대 최강의 바둑 실력을 갖출 때까지 알파고 제로에게 필요한 세월은 불과 40일이었다. [이미지 | 구글]
3시간이 지나자 바둑에 갓 입문한 사람의 수준이 되었다. 오직 상대 돌을 잡으러 다니는 데 혈안이 된 모습을 보였다.
19시간이 경과하면서 기본기가 갖춰지고 점차 사활·세력·집과 같은 바둑전략의 요소를 이해하기 시작했다.
3일이 지나면서 ‘알파고 리(AlphaGo Lee,이세돌 9단을 이긴 알파고 버전을 지칭)’수준을 넘어서기 시작했다.
▼ 훈련시작 뒤 3시간이 지난 시점의 알파고 제로의 셀프대국 - 마치 바둑교실 입문반 어린이들의 대국을 보는 것 같다. 돌을 잡는 데만 신경이 쏠려 있고 단수를 치면 잇지 않고 되단수를 쳐 오히려 자신이 잡히는 경우도 많이 보인다. 패에 대해서도 아직은 잘 이해하지 못하는 단계다.
▼ 훈련시작 뒤 19시간이 지난 시점의 알파고 제로의 셀프대국. - 알파고는 드디어 사활 개념을 이해하기 시작한다. 흑7과 흑19는 알파고 마스터의 기보에서 자주 보였던 일명 묻지마 삼삼(early 3-3 invasion)'이어서 우리에게 익숙하다. 단, 흑13이나 27을 이 시점에서 두는 것은 아까울 수 있다. 훗날 기분 좋을 A의 들여다봄 찬스가 줄어들기 때문이다. 13에 두는 이유는 역으로 상대가 그 자리에 두면 선수로 당하기 때문이다. 그럼에도 타이밍을 잘 보아야 한다.
▼ 훈련시작 뒤 70시간이 지난 시점의 알파고 제로의 셀프대국. 이 시점에서 알파고는 인간 수준을 뛰어넘는다.
인간 이론에서 변의 흑을 강화시켜주는 백6은 부분적으로 악수다. 흑23부터 펼쳐지는 우상공방은 예측이 쉽지 않다.
이후 좌하귀 변화는 알파고 제로들끼리 만들어 낸 신 정석. 흑63의 끊음이 최초로 시도됐다. 백은 지금처럼 64로 두어 왼쪽 한점을 잡거나 67의 자리에 응수할 수 있다. 흑63의 응수타진에 백은 주위 배석에 유의하며 행마하여야 한다.
21일이 경과하자 알파고 마스터와 비슷한 수준에 이르렀다.
40일 동안 약 3천만 대국을 훈련한 뒤엔 알파고 마스터를 크게 이겼다. 이 단계가 되자 알파고 제로는 기존 정석을 선호하지 않는 경향을 보였고 사람 수준에서 예측하기 어려운 참신한 변화가 증가했다.
인간의 기보를 안 거쳤더니 왜 더 강해졌을까
알파고 제로는 Elo레이팅 5,185점을 기록하고 있다. 알파고 마스터 4,858점, 알파고 리 3,739점, 알파고 판(판후이) 3,144점 순이다.
알파고 제로가 인간의 기보로 학습한 기존 알파고를 압도하는 이유를 놓고 연구진은 “사람이 그간 쌓아온 바둑에 대한 접근법과는 질적으로 다른 전략을 알파고 제로가 깨친 것으로 보인다.”고 짚었다.
▲ 알파고 제로, 그리고 기존 알파고 버전들의 Elo레이팅 비교. [이미지 | 구글]
논문의 공동저자 데이비드 실버(David Siver)는 “인간 지식의 한계에 더 이상 얽매이지 않기 때문.”이라고 강조했다.
이 밖에 정책망(policy network, 다음 수를 선택) 가치망(value network, 승자를 예측)으로 알려진 두 개의 신경망을 하나로 통합하여 훈련과 평가에 효율성을 높인 것도 이유의 하나로 꼽힌다.
●알파고 제로 ○알피고 리(이세돌을 이긴 알파고 버전)
225수 흑불계승
●알파고 제로 ○알파고 마스터(커제를 이긴 알파고 버전)
265수 흑불계승
●알파고 제로 ○알파고 제로
228수 백불계승
국가대표팀 “알파고 제로의 기보, 해석 어려워”
알파고 제로의 기보를 접한 국가대표상비군들은,
“인간의 기보를 전혀 보지 않고 훈련했는데도 인간의 바둑처럼 틀이 잡히는 변천 과정이 신기하다.”
“신선하다. 하지만 이전 알파고 마스터 버전의 셀프대국 55국이 워낙 파격적이었기에 충격파는 그렇게까지 크지 않다.”
“알파고 마스터의 바둑과 비교해 보면 오히려 알파고 제로가 더 인간과 비슷해 보이기도 한다.” 등의 반응을 보였다.
한편 “우리가 알파고 제로가 얼마나 강한지 평가하는 것은 마치 18급이 정상급 프로기사들을 비교하는 것이나 마찬가지.”라며 “알파고 제로의 사고방식이 도움을 주는 부분도 어느 정도 있지만 대부분은 해석조차 쉽지 않다.”는 목소리도 나왔다.
글을 쓸 때 필자가 직접 확인했거나 확실히 아는 게 아니면,인용처를 밝히면서 쓰는 게 옳다.
일테면,구글에 따르면 ``어쩌고 저쩌고 ... 한다는 것이다.``라는 식으로 쓰는 것이다.
알파고와 인공지능에 대해 조또 모르면서 단정적으로 주장하는 삼류들 때문에 얼마나 많은 혼란이 있어왔는가.
jdho
남을 까지 말고 네 말을 써라 이자식아! 너같은 새끼들이 결국 죽도록 대창에서 싸우는거다 븅신아.
대자리
요즘 세상에 이런 무식한 새끼도 있네...
원술랑
jdho님, 쌍스러운 욕설은 보기가 민망합니다. 아무리 화가 나도 육두문자가 오가는 난장판을 연출해서야 되겠습니까? 오로 기우들끼리는 사이좋게 지내십시다! ``가는 말이 고와야 오는 말이 곱고, 가는 방망이 오는 홍두깨``
덤벙덤벙
맞습니다. 肉頭文字 使用은 自制합시다. cheers,
설악산등정
꼴값들 떨고있다 진짜 ㅋㅋ..
덤벙덤벙
설악산등정, 辱하지 말자는데 "꼴값들을 떨고 있다"고? 너의 腦는 도대체 어떻게 생겼을까? 매우 궁금한데...
맹물1급
｜ 2017-10-19 오후 7:39:00 [동감0]
바둑의 끝은 알파고제로이고 인간세상은 인공지능에 의존하는 세상이 됩니다
棋道精神
｜ 2017-10-19 오후 7:54:00 [동감0]
제로뒤엔 알파고 끝판왕은 알파고렉스라고 명명하지 않을까 싶다...
라틴어로 왕... 제로를 2점넘게접는버전 ㅋㅋㅋ 아마 1~2년안에 나오겟지...
내나이가 22인데 오래살지는 않았지만 애기가로서 살다살다 별 희한한 광경을 다보는군 ㅋㅋㅋ
Alphago REX coming soon...
킬러의수담
｜ 2017-10-19 오후 8:48:00 [동감0]
바둑티비에서 대국중계시
인공지능을 이용해서
형세판단과 변화도를 보여준다면 좋을텐데..
바보같은 국가대표 스코어링은 집어치우고...
바둑정신
｜ 2017-10-19 오후 9:17:00 [동감0]
정선에서 시작해 매 판의 승패에 따라 두 점, 세 점...
바로바로 치수가 고쳐지도록 하는 게 균형점을 빨리 찾는 좋은 방법입니다.
Unify
｜ 2017-10-19 오후 9:37:00 [동감0]
기똥차게 두는건 사실인데 바둑의 신이 아닌이상 아무리 알파고가 발전해도 4점은 아님.. 바둑이 무슨 우주에서 우주인 찾는건줄 아나! ㅎㅎ
k13628
커제나 박정환등 인간 최정상급 기사가 7~8점 정도 깔아도 못이길거라고 생각됨.
인간은 아직도 정신을 못차렸음....자존심 버리고 치수 고치기 도전을 하기를.............
푸른나
｜ 2017-10-19 오후 11:04:00 [동감0]
인간이 3천만 대국을 소화 할 수 있다면 알파고를 따라갈 수 있을지도... 하루 100판 365 ... 약 천년...
푸른나
｜ 2017-10-19 오후 11:08:00 [동감0]
지금은 목숨 걸라면 4점 깔아야겠네요..
ProblemMe
10점 깔아도 힘듬니다,,,,
高句麗
｜ 2017-10-19 오후 11:57:00 [동감0]
3점이면 목숨을 걸고 둔다는 말은 이틀걸이 바둑을 말하는 것일거다
그당시 일본에서는 이틀걸이 바둑을 두었으니
10분바둑이면 4점깔아도 될런지 의문이다
그러나 이틀걸이 바둑이라면 3점도 할만하다 본다
高句麗
｜ 2017-10-19 오후 11:59:00 [동감0]
앞으로 정석 포석책을 다시 써야겠네
그럼 지금보다 정석 포석이 몇십배 늘어날텐데
이거 다 외울수 있는 프로기사들 한명도 없을 것이다
高句麗
｜ 2017-10-20 오전 12:01:00 [동감0]
앞으로 컴퓨터와 프로기사가 칫수가지고 싸울것이다
알파고 2점만 깔아 프로기사 아녀 3점 깔아야해 알파고 석점이면 내가 딸리는데
이런날이 올런지도 모른다
이제는 알파고가 프로기사를 아마추어 대하듯이 하고 프로는 알파고를 프로스승 모시듯이 깎듯이 대하는 날이 올것이다
바둑 잘못두면 알파고에게 야단도 맞고
현묘구현
인간이 인공지능하고 칫수고치기를 할 이유가 없음. 그리고 정석, 포석이란 어차피
유행과 덤에 따라 미세하게 흑이 좋다 백이 좋다 갈리는거고 과정이 중요한거지 그
결과물이 중요한게 아님. 누가 정석을 다 외워서 바둑을 두나.
돌파1
｜ 2017-10-20 오후 12:08:00 [동감0]
바둑은 대국 상대가 있어야하니 알파고제로가 20개가 있어서 서로 대국을 해야 40일 동안 3천만 판을 둘 수 있을 것 같은데요. 알파고 제로 2개 가지고는 40일 동안 3천만 판이 나올 수 없자나요. 여기에 대해서 기자가 취재 좀 해 주세요.
장위동박
｜ 2017-10-20 오후 3:17:00 [동감0]
지금까지는 그냥 그럭저럭 넘어간다지만, 내년에는 알파고 제로 보다도 100배이상 더 성능좋은 알파고가 나온다니 큰일이다.(앞으로 10년후에는 기원에 인공지능 로봇들만 모여앉아 바둑을 두겠네, 이세돌 9단과 두었던 알파고 리는 시니어 리그에..)
흑백마스터
｜ 2017-10-20 오후 5:26:00 [동감0]
알파고 제로의 바둑은 해석하기조차 어려워보이네. 인간의 정석은 거들떠도 안본다니. 한마디로 현재 프로들이 만든 정석은 정수가 아니라는 얘기네.
과거초보
｜ 2017-10-20 오후 7:02:00 [동감0]
알파고 이길 기사는 김구라 9단 뿐이다. 알파고, 너 그렇게 두는게 아냐 하면서 혼내며 두면
이긴다.
Unify
｜ 2017-10-23 오전 11:24:00 [동감0]
불과 3년전만해도 인공지능 바둑 기사 뜨면 뭐 100년이 걸려도 못이긴다고
거의 댓글 달더니만(물론 프로기사들은 10~20년으로 봤지만)이제는 6점으로도
못이긴다고 다 달겨드네..댓글 수준 너무낮아 차마 눈뜨고 못볼지경..ㅎㅎ
바둑, 컴퓨터, 과학에 대한 이해가 18급도 안돼는 양반들이 말은 제일 많어..
.gif){kind=logo}
대자리
jdho
棋道精神
킬러의수담
Unify
