통계적 가설검정이 유용한 이유

'확률’ 개념을 도입하여 불필요한 논란을 줄이기

 

‘까마귀는 검은 동물’이라는 가설을 증명하려면 어떻게 해야 할까요? ‘까마귀는 검다’는 말은 ‘모든 까마귀는 검다’고 주장하는 것과 마찬가지입니다. 이것은 ‘검은 까마귀 한 마리를 보았다’는 사실만으로는 증명되지 않습니다. 예를 들어 어떤 까마귀는 빨갛고, 또 다른 까마귀는 파랗다면 ‘까마귀는 검다’를 사실로 확정 지을 수 없습니다. 이처럼 ‘모든 00은 000이다’라는 표현은 ‘모든 것에 대해서 칭한다’는 의미로 ‘전칭성이 있다’고 표현합니다.

전칭성이 있는 가설을 반증하는 일은 매우 간단합니다. 단 한 마리의 검지 않은 까마귀를 가져오기만 하면 ‘모든 까마귀가 검지는 않다’는 것을 증명할 수 있기 때문입니다. 반대로 ‘모든 까마귀는 검다’는 것을 증명해야 하는 쪽은 난감해집니다. 검은 까마귀를 아무리 많이 보여주더라도 누군가가 ‘그것이 모든 까마귀라 할 수는 없다’, ‘검지 않은 까마귀가 없다는 증거가 되지 않는다’며 얼마든지 반론을 계속할 수 있기 때문입니다. 

통계적 가설검정

 

통계적 가설검정으로도 ‘전칭성’을 증명할 순 없지만
확률을 도입해 ‘모든’ 대신에 ‘거의 모든’을 생각하도록 만든다.

 

통계적 가설검정은 ‘모든 까마귀는 검다’는 것을 증명하기보다는 ‘우리가 흔히 보는 까마귀는 모두 검다고 생각하는 것이 타당하다’는 것을 증명하는 방식입니다. 이 문장을 한 번 뜯어보도록 할게요.

 

- ‘우리가 흔히 보는’ : 지금 수집할 수 있는 데이터의 범위 안에서

- ‘~하다고 생각하는 것이 타당하다’ : 주장을 반박(혹은 지지)하는 가설이 어느 정도 확률로 성립되는지

 

정리하면, 통계적 가설검정은 모집단으로부터 수집된 표본의 정보를 사용해서, 실제 모집단의 값에 대한 주장이 타당한지, 확률에 근거하여 검증하는 것을 의미합니다. 그럼 통계적 가설검정의 과정을 함께 살펴볼까요? 

1. 귀무가설 설정하기

원래 내가 주장하고자 하는 내용과 반대되는, 즉 원래 주장을 무(無, ‘0’)로 돌려버리는 가설을 세운다. 

“그래 일단 네 말이 맞다고 해볼게”

 

2. 대립가설과 유의수준 설정하기

위의 가설(귀무가설)을 반박할 수 있는, 적절한 수용 조건을 정한다. 

“그런데 만약에 내 말이 맞다는 증거가 00% 이상이면, 네 말을 맞다고 보긴 어렵지 않을까?”

 

3. 임계값과 기각영역 설정 이후 귀무가설 기각 여부 확인
데이터를 수집한 후, 수집된 데이터가 임계값(수용 조건의 기준이 되는 지점)과 비교하여 어떤 위치에 있는지 확인하고,
귀무가설을 채택할 지, 기각할지 결정한다. 

 

“실제로 데이터를 확인해 보니 내 말이 맞다는 증거가 97%나 되네. 그러니까 내 말을 타당하다고 보는 게 맞아.”

 

 

적절한 수용 조건, p-value 이야기

 

앞서 가설을 검증할 때 확률에 기반하여 타당성을 검증한다고 했는데요, 이 타당성을 판단해주는 지표가 바로 p-value 입니다. p-는 확률을 의미하는 probability에서 유래합니다. p-value의 사전적 정의는 귀무가설이 맞다고 가정할 때 얻은 결과보다 그것에 반하는 극단적인 결과가 실제로 관측될 확률을 의미합니다. 'p-value가 작을수록 귀무가설이 존재하기 어렵다'고 보면 됩니다.

그렇다면 이 p-value가 어느 정도 작아야 귀무가설을 기각(존재하기 어렵다고 판단)하는 적절한 수준(=유의수준)이 될까요? 이것은 분야에 따라 조금씩 차이는 있지만 대략 5% 미만을 많이 사용하고 있습니다. 이것은 수학적인 근거가 딱히 있는 것은 아닙니다. 어떤 귀무가설 하에서 20번에 1번 정도밖에는 일어나지 않는 데이터가 얻어졌을 경우에는 ‘존재하기 매우 어렵다’고 생각하는 것이 관례라고 합니다. 

손해인가 이익인가의 문제

 

‘모든 까마귀가 검다’는 것은 분명 사실은 아닐 것입니다. 하지만 적어도 현실적인 의사결정으로서 ‘지금 우리는 앞으로 마주치게 될 까마귀를 검다고 생각하는 편이 낫다’는 정도는 동의할 수 있을 것입니다.
 

통계적 가설검정은 이처럼 불필요한 논란을 줄이고 조직에서도 빠른 의사결정을 하는데 도움을 주는 방법입니다. 수집된 데이터가 과거의 어느 시점, 혹은 또 다른 조건을 가진 그룹과 의미 있는 차이가 있는지 적절하게 판단하기 위해서는 가설검정의 과정을 거쳐야 합니다. 그렇지 않은 경우, 데이터 결과의 차이가 우연에 의한 것인지, 아니면 짐작하고 있는 특정 조건에 의한 차이인지 알 수 없게 됩니다.  

 

통계적 가설검정은
어느 누구도 손해나 이익이 되지 않는 진리를 토론할 때는
사용하는 의미가 그다지 크지 않다.
그러나 … 비즈니스에서,
돈처럼 손익이 걸린 상황에서 더 최선인 쪽을 선택하는 경우라면 위력을 발휘한다.

 

오늘은 통계적 가설검증과 관련된 여러 가지 용어들의 의미와 필요에 대해 다뤄보았습니다. 용어들에 대한 좀 더 정확한 정의나 개념에 대해서는 아래 링크를 참고하시는 것을 추천드립니다. 다음에는 본격적으로 가설검정 방법을 하나씩 다뤄볼 텐데요, z검정에 대한 이야기로 찾아오겠습니다. 감사합니다. 😄

 

통계적 가설검정

귀무가설과 대립가설

유의확률

기각영역

 

 

 

이 글은 <통계의 힘: 실무활용 편 (니시우치히로무 지음)> 을 읽고, 책의 내용 일부와 저의 생각을 담아 적었습니다.