♣ 현 KeSPA 랭킹 포인트에 드러난 오류 분석 ♣


원문: http://cafe.naver.com/fafostar/9278



　오랜 기간 베일에 가려 있던 KeSPA 공인 랭킹 포인트 산정 방식이 '와이엘'이라는 닉네임의 한 포모스 유저의 노력에 끝에 사실상 완전히 파헤쳐졌다. 와이엘 님의 랭킹 포인트 산정 방식 예측 모델은 지난 1월 4일 포모스 매니아 칼럼 게시판을 통해 처음 발표된 이후 오류가 발견되지 않았으며, 발표 후 첫 실질적 검증이라 할 수 있었던 2010년 2월 랭킹 예측에서 1위부터 50위까지의 순위와 종합 포인트가 실제 KeSPA 발표와 정확하게 일치했다(이후 언급할 협회 측의 일부 오류를 감안한 예측임). KeSPA 랭킹 포인트에 관해서는 그동안 지극히 단편적인 지식과 일부 점수 체계만이 알려져 있었을 뿐, 산정 방식 전반이 완전하게 드러나기는 이번이 처음이다. 비록 협회의 자발적인 의지에 따른 공개는 아니라 할지라도 이번 공개를 통해 랭킹 포인트 산정의 적절성 여부가 대중에 의해 널리 평가될 수 있는 계기가 되었다는 점에서 큰 의미를 부여할 수 있다. 여기서 말한 적절성이란 다음과 같은 두 가지 의미로 나누어 생각할 수 있는데, 첫째는 산정 체계 자체가 타당한 방식으로 이루어져 있는가에 관한 것이고, 다른 하나는 이 방식이 오류 없이 모든 선수들에게 일관되게 적용되고 있는가에 관한 것이다. 이 중 전자에 대해서는 사람마다 그 의견이 다르겠으나 후자에 있어서는 이견의 여지가 있을 수 없으며, 만약 포인트 산정에 있어 오류가 발견된다면 차후에라도 마땅히 적절한 절차를 통해 공지하고 바로잡아야 할 것이다. 지난 달 이미 와이엘 님에 의해 랭킹 포인트상의 몇 가지 오류가 지적되었음에도 불구하고 2월 랭킹에서 이것이 정정되지 않은 상태이다. 많은 랭킹 체계의 특성상 이 오류 요인이 다음 달, 또 그 다음 달 랭킹에도 지속적인 영향을 끼치기 때문에 현 시점에서 바로잡아야 할 필요성이 명백하게 존재한다. 이 글에서는 와이엘 님의 2월 랭킹 예측 글에서 오류로 지적된 3가지 사항에 대해 구체적으로 검토하며 공론화하기로 한다.

　본격적인 논의로 들어가기에 앞서 지금쯤 몇몇 분들이 생각하고 있을지 모를 의문점에 대해 먼저 언급하고 지나갈 할 필요가 있다. 일부 독자는 앞선 '오류'에 대한 언급에 있어 무언가 본말이 전도된 느낌을 받았을지 모른다. 즉, 랭킹 포인트 산정에 있어 KeSPA 측이 오류를 범한 것이 아니라 와이엘 모델 자체가 랭킹 산정 방식을 잘못 해석한 뒤 자신의 예측에 어긋나는 부분을 협회 측의 '오류'라고 단정하고 있는 것이 아닌가 하는 것이다. 이것은 상당히 일리가 있는 지적이지만 결론적으로 말하자면 타당하지 않다. 왜냐하면 지금부터 다루게 될 '오류'들은 동일한 상황에 대해 동일한 포인트가 부여되지 않은, 즉 일관성 결여에 관련된 것이거나 동명이인에게 포인트가 잘못 부여되는 등 KeSPA 측의 실수임을 명백하게 확인할 수 있는 것들이기 때문이다. 이제 아래의 과정에서 이것들을 살펴보게 될 것인데, 여러분도 되도록 와이고수나 포모스 등에서 제공하는 기록과 엑셀 등의 간단한 툴을 이용하여 직접 확인해 보기 바란다.



오류 1. 동일한 상황에 다른 점수 부여

　프로리그에 출전한 선수들의 개별 랭킹 포인트를 분석함으로써 프로리그에 대한 구체적 포인트 배정 방식을 확인할 수 있는데, 이를 통해 정규 시즌의 일반 1승은 30점, 에이스결정전 1승은 45점(30×1.5), 포스트시즌(위너스리그 포함)의 일반 1승은 45점, 포스트시즌의 에이스결정전 1승은 67.5점(30×1.5×1.5)이 부여됨을 알 수 있다. 그러면 작년 프로리그 포스트시즌에서 1차전과 2차전을 치른 결과 시리즈 스코어가 1:1로 동률일 경우 진행했던 '최종 에이스결정전'의 1승은 몇 점이 부여되었을까? 경기의 비중에 따라 포인트가 가중되는 산정 체계 전반의 기조와 일반적 상식에 따라 상위 라운드 진출팀을 단판으로 가리는 최종 에이스결정전의 승리 포인트는 적어도 67.5점 이상이 될 것임을 예상할 수 있다. 실제로 이러한 경우는 6강 플레이오프에서 2경기, 준플레이오프의 1경기, 플레이오프에서 1경기 총 4번이 있었는데, 이 중 2번은 김정우 선수, 나머지는 각각 허영무 선수와 이제동 선수가 승리를 거두었다. 김정우 선수와 허영무 선수의 2월 단체전 랭킹 포인트를 분석해 보면 이 승리들이 각각 67.5점으로 계산되었음을 알 수 있다. 그런데 이제동 선수의 경우 이 승리를 67.5점으로 계산하면 실제 포인트와 일치하지 않고, 이를 45점으로 계산할 때 일치하게 된다. 즉, 김정우 선수와 허영무 선수의 6강 플레이오프와 준플레이오프의 최종 에이스결정전 승리는 모두 67.5점으로 처리된 데 반해 이제동 선수의 플레이오프 최종 에이스결정전 승리는 45점으로 처리된 것이다. 이것은 동일한 대회와 동일한 상황에서 대상 선수에 따라 서로 다른 점수가 부여된 것이으므로 일관성이 결여된 오류이다.

　▲ 김정우의 2월 단체전 포인트
　　=60*0.1('09.2월: 2승) + 0*0.2(3월: 無) + 60*0.3(4월: 2승) + 270*0.4(5월: 6승+에결 2승) + 150*0.5(6월: 5승)
　　 + 367.5*0.6(7월: 1승+PS 3승+PS 에결 1승+PS 최종에결 2승) + 0*0.7(8월: 無) + 0*0.8(9월: 無) + 120*0.9(10월: 4승)
　　 + 210(11월: 4승+에결 2승) + 240(12월: 5승+에결 2승) + 90('10.1월: 3승)
　　=1075.5 (KeSPA 발표와 일치)

　▲ 허영무의 2월 단체전 포인트
　　=270*0.1('09.2월: 9승) + 30*0.2(3월: 1승) + 30*0.3(4월: 1승) + 105*0.4(5월: 2승+에결 1승) + 60*0.5(6월: 2승)
　　 + 202.5*0.6(7월: PS 3승+PS 최종에결 1승) + 0*0.7(8월: 無) + 0*0.8(9월: 無) + 0*0.9(10월: 無)
　　 + 30(11월: 1승) + 165(12월: 4승+에결 1승) + 90('10.1월: 3승)
　　=520.5 (KeSPA 발표와 일치)

　▲ 이제동의 2월 단체전 포인트
　　=390*0.1('09.2월: 13승) + 345*0.2(3월: 1승+위너스PS 7승) + 105*0.3(4월: 2승+에결 1승) + 195*0.4(5월: 5승+에결 1승) + 300*0.5(6월: 7승+에결 2승)
　　 + 130*0.6(7월: 1승+다승왕) + 112.5*0.7(8월: PS 1승+PS 최종에결 1승) + 0*0.8(9월: 無) + 105*0.9(10월: 2승+에결 1승)
　　 + 180(11월: 3승+에결 2승) + 195(12월: 5승+에결 1승) + 90('10.1월: 3승)
　　≒1083.8 (KeSPA 발표는 1068.0)




오류 2. 김윤환(Z) 선수의 예선 포인트 누락

　양대 개인리그의 예선은 공식전은 아니지만, 참가 선수들의 랭킹 포인트를 분석해 보면 탈락한 선수라 하더라도 몇 강에서 탈락했느냐에 따라 소정의 포인트가 부여되고 있음을 알 수 있다. 예선 4강 탈락자의 경우 이 포인트는 11.25점이다. 그런데 김윤환 선수의 개인전 포인트를 분석해 보면 2009년 5월의 스타리그 예선 4강 탈락에 대한 포인트가 누락되어 있다. 이 역시 넓은 의미로 볼 때 포인트 산정 방식 적용의 일관성이 결여된 경우로 정정이 필요하다.

　▲ 김윤환의 2월 개인전 포인트
　　=0*0.1('09.2월: 無) + 0*0.2(3월: 無) + 37.5*0.3(4월: 서바이버 진출) + 86.25*0.4(5월: OSL 예선 4강, MSL 32강 진출)
　　 + 0*0.5(6월: 無) + 300*0.6(7월: MSL 16강, 8강 진출, 차기 32강 시드) + 450*0.7(8월: MSL 4강, 결승 진출, 우승)
　　 + 37.5*0.8(9월: OSL 36강 진출) + 0*0.9(10월: 無) + 187.5(11월: OSL 36강 2차전, 16강 진출)
　　+ 412.5(12월: OSL 8강, 4강 진출, 차기 16강 시드) + 0('10.1월: 無)
　　≒1170.8 (KeSPA 발표는 1166.3)




오류 3. 동명이인에게 포인트 부여

　MBC게임 HERO에는 2명의 김동현 선수가 있는데, 공교롭게도 양 선수 모두 저그 유저이다. 한 명은 Saint[z-zone] 아이디를 사용하는(비교적 잘 알려진) 김동현 선수이고, 다른 한 명은 Revival[ScM]라는 아이디를 사용하는 선수이다. 이 두 선수 역시 와이엘 모델이 예측하는 랭킹 포인트와 실제 포인트가 일치하지 않고 있는데, 먼저 언급한 김동현 선수의 경우 오차의 원인은 작년 9월 스타리그 예선의 결승 진출에 대한 포인트 22.5점 중 8강 진출에 대한 포인트 5.625점만이 부여되고 나머지 포인트는 누락되었기 때문이다. 그런데 이 누락 포인트가 엉뚱하게도 동명이인인 김동현 선수에게 부여되어 있다. 와이고수 기록에 의하면 이 김동현 선수는 당시 스타리그 예선 8강에서 탈락했기 때문에 5.625점이 부여되어야 함에도 예선 결승 진출에 해당하는 22.5점이 부여되어 있는 것이다. 담당자의 착각으로 인해 양 선수의 예선전 포인트가 뒤바뀐 것으로 추정된다.

　▲ 김동현(Saint[z-zone])의 2월 개인전 포인트
　　=0*0.1('09.2월: 無) + 0*0.2(3월: 無) + 22.5*0.3(4월: MSL 예선 결승) + 22.5*0.4(5월: OSL 예선 결승)
　　 + 0*0.5(6월: 無) + 0*0.6(7월: 無) + 0*0.7(8월: 無) + 60*0.8(9월: OSL 예선 결승, MSL 서바이버 진출)
　　 + 75*0.9(10월: MSL 32강 진출) + 0(11월: 無) + 150(12월: MSL 16강 진출, 차기 서바이버 시드) + 0('10.1월: 無)
　　≒281.3 (KeSPA 발표는 267.8)

　▲ 김동현(Revival[ScM])의 2월 개인전 포인트
　　=0*0.1('09.2월: 無) + 0*0.2(3월: 無) + 5.625*0.3(4월: MSL 8강) + 5.625*0.4(5월: OSL 예선 8강)
　　 + 0*0.5(6월: 無) + 0*0.6(7월: 無) + 0*0.7(8월: 無) + 11.25*0.8(9월: OSL 예선 8강, MSL 예선 8강)
　　 + 0*0.9(10월: 無) + 0(11월: 無) + 0(12월: 無) + 0('10.1월: 無)
　　≒12.9 (KeSPA 발표는 26.4)




　사실 KeSPA 랭킹처럼 프로게이머 전체 집단의 1년치 성적이라는 방대한 인자를 갖는 시스템에 현실적으로 오류가 없기란 오히려 어려울 것이다. 이런 이유에서 협회는 애초에 랭킹 포인트 산정 방식을 스스로 일반에 공개하고 랭킹이 공적 검증을 통해 보다 투명하게 관리되도록 했어야 한다. 늦게나마 구체적 산정 방식이 밝혀지고 대중에 의해 타당성 검증이 가능하게 된 것에 대해 상당한 긍정적 의미를 부여하고 싶다. 지금 당장은 드러난 일부 오류로 인해 랭킹의 위상과 신뢰가 떨어지는 것처럼 생각될지 모르겠으나 장기적으로는 오히려 공신력이 강화되는 효과가 있을 것이다. 다만 현재 드러난 오류들에 대해서는 신속한 정정 조치가 취해져야 할 필요가 있다. 이러한 오류 요소들이 곧바로 수정되지 않을 경우 그 영향이 단순히 현재의 랭킹에만 머무는 것이 아니라 차후 랭킹 포인트 산정에도 지속적으로 작용하게 된다는 점은 주지해야 한다. 특히 이제동 선수의 경우 현재 이영호 선수와 근소한 포인트 격차로 1위를 다투고 있기 때문에 해당 오류 요소는 잠재적으로 막대한 분쟁의 소지를 내포하고 있는 뇌관임에 틀림없다. 더 구체적으로 말하자면 이제동 선수가 3월 랭킹에서 1위를 수성하기 위해서는 2월 프로리그 실적에 있서 이영호 선수보다 5승 이상을 더 기록해야 하는데, 앞서 언급한 오류가 바로잡아 질 경우 이 '5승'은 '4승'으로 수정된다. 당장 다음 달 랭킹에서 오류 하나에 순위 자체가 뒤바뀌는 상황이 발생할 개연성이 다분한 것이다. KeSPA는 또 한 번의 소모적 분쟁과 스스로의 위신 추락을 막기 위해서라도 이러한 현 상황을 명확히 인식하여 책임있는 업무 처리를 조속히 수행해야 할 것이다.




작성: 개념은나의것 http://cafe.naver.com/fafostar




- 참조
http://www.fomos.kr/gnuboard4/bbs/board.php?bo_table=best&wr_id=5765
http://www.fomos.kr/gnuboard4/bbs/board.php?bo_table=free_09&wr_id=528373&sca=&sfl=wr_name%2C1&stx=%BF%CD%C0%CC%BF%A4&sop=and