핫핸드는 존재하는가? 2편 (feat. 클레이 탐슨)

핫핸드에 대한 통계적 고찰은 그 역사가 상당히 깁니다.

아래는 지금으로부터 약 40년전, 코넬 대학교의 심리학 교수인 Thomas Gilovich와 스탠포드 대학의 인지 심리학 교수 Amos Tversky와 함께 발표한 논문으로, 농구의 "핫핸드"에 대해 과학적인 접근을 시도한 첫 사례입니다.

*여기에서 정의내린 "핫핸드"란 연속적인 슛시도에서 "이전의 슛이 들어갈 경우 다음 슛의 성공률이 높다"라는 것입니다. '지금 연속으로 들어가고 있으니 다음 샷은 평소보다 들어갈 확률이 더 높을 것이다'

https://reader.elsevier.com/reader/sd/pii/0010028585900106?token=546DC2411195B6FC7B382CC716EFED5F1F8BE27261627B6FB950B4F61EE61E303DD241AFAFEBA4FC58D7594892220D50&originRegion=us-east-1&originCreation=20220112155352

본 논문에서는 당시 필라델피아 76ers 선수들의 홈경기 조건부 야투율을 통해 이를 검증했는데요.

3연속 실패 후, 야투율 56%, 

2연속 실패 후, 야투율 53%

1 실패 후, 야투율 54%

1 성공 후, 야투율 52%

2연속 성공 후, 야투율 50%

3연속 성공 후, 야투율 46%

 ...

결과적으로, 유의미한 차이를 발견할 수 없었고, 제목에서도 알 수 있다시피 "핫핸드"를 무작위 연속시행의 오해(misperception)라고 결론내렸습니다.

아래는 시너지 스포츠와 Fansided에서 일하시며, 현 트윗 팔로워 1.2만명의(저도 그중 한명..) 굉장히 뛰어난 스태티션이신 Todd Whitehead의 분석입니다. 

https://fansided.com/2019/03/18/nylon-calculus-hot-hand-klay-thompson/

저와 달리 낭만적인 분이라서 여전히 핫핸드가 진짜 존재한다고 믿으며 빨간 약을 먹을거라고 외치시지만(But personally, I want to believe the hot hand is real! So, I am eating the red pill") 결론적으로는 핫핸드의 대명사격인 클레이 탐슨조차 핫핸드가 없는 시물레이션과 비교했을 때 직전의 3점 성공 & 연속성공에서는 성공률 차이가 없으며, 3연속 성공 사례도 핫핸드가 없더라도 일어날 수 있는 범주 안에 존재한다는 결론에 도달하였습니다. 

위와 같은 분석에서 핫핸드에 대한 과거-현재 스태티션들의 분석 결과는 어느 정도 컨센서스를 가진다고 말할 수 있을텐데요. 

저도 1년 전 쯤(21년 2월) "핫핸드는 존재하는가?" 라는 제목으로 간단한 분석을 시도해본 적이 있습니다(raw data 수집은 간단하지 않았습니다만..)

https://mania.kr/g2/bbs/board.php?bo_table=nbatalk&wr_id=7949089&sca=&sfl=wr_subject&stx=%ED%95%AB%ED%95%B8%EB%93%9C%EB%8A%94&sop=and&spt=-496469&scrap_mode=&gi_mode=&gi_team_home=&gi_team_away=

당시 22689개의 3점슛(19-20시즌 전체 3점슛의 31.4%)을 가지고 "이전 시도의 결과"가 이후 결과에 영향을 미치는지 확인해봤으며 당시 p-value = 0.4235로 유의하지 않다는 결과를 얻었습니다.

다만, 그때는 이전 시도 "1회"만 사용했기 때문에 "진정한(2회 이상) 의미의 연속 성공"이 포함되지 못했다는 점, "클레이 탐슨"이 없다는 점", 쿼터 종료 등으로 끊어지지 않는 "시간적 연속성"의 필요하다는 점 등 좋은 피드백들을 받았습니다.

그리하여 시간이 조금(?) 지났지만, 그러한 부분을 반영하여 재분석을 해봤는데요.

이전 분석과의 주된 차이점은 아래와 같습니다.

1. 클레이 "더 핫핸드" 탐슨의 커리어 전체 슛시도 데이터 활용

2. ""한 쿼터 안""에서의 연속 성공을 포함

3. 직전 슛시도 결과 뿐만 아니라, 2연속, 3연속 시도 이후의 결과를 포함

4. 3점뿐만 아니라 10피트 이상 모든 점프슛을 포함

(클탐이 3점시도와 시도 사이에 2점 점프슛 시도가 은근히 있는 선수이고 그렇다고 2점 점퍼의 성공률이 3점과 큰 차이가 없어서 점퍼 슛감이라는 측면에서 공통분모가 있고 이를 포함함으로써 전체 샘플 수를 증가시켜 통계적 신뢰도를 더 확보할 수 있을 거라고 판단하였습니다).

들어가기에 앞서 클탐의 복귀를 축하하는 기념 겸, 클레이 탐슨의 슈팅 프로파일에 대해 간단한 그림을 몇 개 덧붙여 보았습니다. 

1. 클레이 탐슨의 슛타입

클레이 탐슨의 슛시도는 83.4%는 점퍼이며 그중 52.3%는 3점슛입니다.

2.  점퍼의 거리별 분포

2점슛 점퍼의 성공률은 42.37%, 3점은 41.92%로 유사합니다.

3.  시간에 따른 분포

쿼터별로 그려져있는데, x축이 쿼터별남은 시간입니다(쿼터 시작 시 남은 시간 = 12분 = 720초)

탐슨의 로테이션 패턴이 잘 보이네요

성공률에서는 시간에 따라 큰 변동이 없었습니다. 

4. 본격적인 연속 성공 이후의 성공률

개념은 이렇습니다. (예시는 2연속 성공으로 가져왔습니다. 3연속 성공은 동그라미 그리기가 귀찮..)

A, B가 해당하는 조건이 연속된 2번의 성공인데요. 

연속성공으로 인해 소위 "손이 뜨거운-핫핸드" 상황에서의 성공률이 그외에 다른 경우 또는 콜드핸드 (연속실패)에 비해 더 높은지를 비교해보는 것입니다. 

(실제로는 직전 시도 성공, 2회 연속성공, 3회 연속성공을 모두 확인하였습니다.)

4-1. 직전 시도 결과에 따른 다음 점프슛 성공률 

직전 시도 실패 = 42.03%  (1234/2936)

직전 시도 성공 = 43.87% (1078/2457)

P-value = 0.1759 

P-value란 둘의 차이가 "우연히" 발생했을 확률입니다. 

둘의 차이가 우연일 가능성이 낮을 수록 (노이즈의 장막 너머 어딘가에 있는) 진실된 차이가 실존할 가능성이 높다고 볼 수 있죠 = 차이가 더 믿을만하다

유의하다(significant)는 기준은 분석자가 정하기 나름이지만 일반적으로는 0.05보다 낮을 경우 유의하다고 표현합니다. 저정도면 아주 미약한 경향성이 있다고 표현할 수.. 하고 싶네요ㅜ 

4-2. 2연속 성공

a. 직전 2회 연속 실패 = 40.77% (400/981)

b 직전 2회 중 1회 이상 실패 = 43.39% (1152/2655)

c. 직전 2회 연속 성공 = 42.93% (337/785)

4-2-1. vs. 4-2-3 콜드핸드와 핫핸드의 비교에서는 p-value = 0.3821로 직전 시도보다 더 유의하지 않은 결과가 나왔습니다. %차이는 비슷한데도 p-value가 오히려 더 나빠진 것은 2연속 성공 케이스의 수가 적어졌기 때문입니다. 

(b vs c, p-value = 0.8376... = 차이 없다)

4-3. 3연속 성공

a. 직전 3회 연속 실패 = 44.29% (128/289)

b. 직전 3회 중 1번이상 실패 = 43.22% (743/1719)

c. 직전 3회 연속 성공 = 45.76% (108/236)

(샘플 수가 많이 줄어드는게 보이죠. 선수 커리어를 모두 따와서 3점 + 2점 점퍼를 전부 고려해도 한 쿼터 이내에 연속 성공을 충분히 확보하기가 쉽지는 않습니다...)

a vs. c (연속실패 vs. 연속성공)

1쿼터에 점퍼를 3번 연속 성공하거나 실패하면 보는 이들이 체감할 수 있는 수준일텐데요. 

이 때의 p-value는 아쉽게도 0.7914로 유의하지 않았습니다. 

그리고 b vs. c의 상황에서도 유의한 결과가 나오지 않았습니다(p-value = 0.4841)

이렇게 재미없게 결론을 내리자니 아까운 마음이 들더군요.

그래서 조금 다른 접근을 해보고자 했습니다.  

당시 코멘트 중에 또 인상깊었던 것이 아래와 같은데요.

슛이 들어가면 성공률은 유의미하게 좋아지지 않더라도, 난이도는 올라가지 않을까.. 라는 가설을 세우고, 난이도를 확실히 측정하는 기준은 없었지만 가장 단순한 기준은 림과의 거리이기에 "연속 성공과 슛 거리 사이에 연관성이 있는지"를 확인해보았습니다.

5. 연속 성공과 슛 거리의 연관성

(* Wilcoxon rank-sum test를 통해 분석하였습니다)

질문 - 직전 시도에 실패했을 때와 성공했을 때 점퍼 거리가 다른가? 

직전 시도 실패 시, 평균 21.36피트

직전 시도 성공 시, 평균 21.73피트

p-value = 0.002816 !!!

네, 슛을 성공할 경우 실패했을 때 대비, 대략 0.4피트 림에서 더 먼 곳에서 슛을 시도하게 됩니다.

(= 실패 시 슛을 더 가까운 곳에서 시도하려고 한다고 해석할 수도 있습니다.)

연속 성공은 어떨까요? (바로 3연속으로 가겠습니다)

3연속 실패 시, 평균 21.91피트

3연속 성공 시, 평균 22.29피트

p-value = 0.08132

0.05를 기준으로 엄격히 적용하면 유의하지 않지만 약한 경향성이 존재한다고 볼 수는 있겠습니다. 

6. 성공률이 시도를 이끌어내는가?

문득, 이전의 결과가 다음 성공을 보장하진 못 하더라도, "다음 슛 시도"를 이끌어낼 수 있지 않을까라는 생각이 들었습니다. 

잘 들어가니까 한번 더 쏘게 되는 현상이 실제 존재하는가, 아니면 이것조차 통계적 유의성이 떨어지는 착시에 가까운 것일까

아래 그림은 한 쿼터 내에서 클탐이 쏘는 점퍼의 순서에 따른 성공률입니다. 

(점 크기는 점퍼의 총 숫자입니다, 8회 이상부터는 총 시도수가 많지 않아 묶어서 분석하였습니다)

보시면 1-6회까지는 성공률의 큰 차이가 없지만 7-8회는 성공률이 약간 올라간다는 걸 볼 수 있었습니다. 

슛을 많이 쏘면 슛감을 찾아 슛이 더 잘 들어가는 것일까요? 

관점을 반대로 바꿔서 살펴봤습니다.

마지막 슛에서부터 거꾸로 순서를 매겨보는 것이죠. 

n = 그 쿼터의 마지막 슛, 

n-1 = 마지막 슛의 직전 슛.. 이런 식입니다.

이렇게 해서 최소 5회 이상 슛을 쏜, "소위 평소보다 많은 점퍼 시도를 가져간 쿼터"에서 슛시도를 역으로 추적할때 이전에 성공률이 높았는지를 확인해볼 수 있겠죠

그리고 결과는 성공적(?)이었습니다.

마지막 슛의 성공률은 38% 밖에 되지 않았으나 직전 샷은 44.5%, 그 이전 3번의 슛은 역순서대로 48.5%, 46.9%, 51.3% (N-2, N-3, N-4)를 기록했습니다. 

즉, 이전에 슛이 좀 들어가서 더 쏘게 되었다는 추측을 하게 해줍니다.

다소 호기롭게, 요란하게 분석을 다시 시도해보았으나 엄청나게 재밌는 결과는 아니었습니다.

기존에 나와있는 결과들이 어느 정도 있기에 대단한 new finding이 있을 거라 기대하진 않았습니다만 그래도 나름의 성과와 재미는 있었는데요. 보시는 분들에게도 흥미로운 읽을 거리였기를 바랍니다.

감사합니다 :)