본문 바로가기

카테고리58

z검정, 두 그룹의 비율/평균은 차이가 있는가 (1) ‘차이’ 여부의 판단 데이터 분석 상황에서 상당히 많은 비중을 차지하는 것이 바로 ‘비교’를 하는 일입니다. “지금 얻어진 이 결과가 과거 그때의 결과보다 높은가 낮은가” “서로 다른 조건을 가진 둘 이상의 그룹에서 얻어진 결과들은 서로 차이가 있다고 볼 수 있는가” 이때 (모집단) 데이터의 불규칙성까지 고려하여 '차이가 있다 혹은 없다'고 판단하려면 통계적 가설검정이 필요합니다. 우리는 통계적 가설검정을 통해 우리의 판단이 ‘거의 대부분의 상황’에서 통한다고 말할 수 있다는 자신감을 얻게 됩니다. 오늘은 2개 그룹의 비율 혹은 평균 차이를 검증하는 z검정에 대해 알아보는 시간을 갖도록 하겠습니다. 그전에 먼저 예전에 함께 살펴본 ‘표준오차’를 다시 한번 떠올려 보면 좋을 것 같아요. 통계적 검정에 앞서.. 2022. 1. 19.
통계적 가설검정이 유용한 이유 '확률’ 개념을 도입하여 불필요한 논란을 줄이기 ‘까마귀는 검은 동물’이라는 가설을 증명하려면 어떻게 해야 할까요? ‘까마귀는 검다’는 말은 ‘모든 까마귀는 검다’고 주장하는 것과 마찬가지입니다. 이것은 ‘검은 까마귀 한 마리를 보았다’는 사실만으로는 증명되지 않습니다. 예를 들어 어떤 까마귀는 빨갛고, 또 다른 까마귀는 파랗다면 ‘까마귀는 검다’를 사실로 확정 지을 수 없습니다. 이처럼 ‘모든 00은 000이다’라는 표현은 ‘모든 것에 대해서 칭한다’는 의미로 ‘전칭성이 있다’고 표현합니다. 전칭성이 있는 가설을 반증하는 일은 매우 간단합니다. 단 한 마리의 검지 않은 까마귀를 가져오기만 하면 ‘모든 까마귀가 검지는 않다’는 것을 증명할 수 있기 때문입니다. 반대로 ‘모든 까마귀는 검다’는 것을 증명해.. 2022. 1. 13.
통계적 검정에 앞서, '표준오차' 개념 이해하기 ‘통계적 검정’이 필요한 이유 지난번 글 마지막에는 비교해야 하는 두 그룹 간의 평균값의 신뢰구간(평균값 ± 2SD)이 서로 겹치지 않을 때(아래 그림처럼) , 두 그룹의 조건 차이가 결과의 차이를 만들어 낸다고 의심해볼 만한 여지가 생긴다는 말씀을 드렸습니다. 그러나 대부분의 분석 상황에서는 비교 대상이 되는 그룹 간의 평균값의 차이는 표준편차의 2배 이상 벌어지는 일이 드뭅니다. 그렇기 때문에 통계학에서는 두 그룹의 차이가 표준편차의 2배보다는 적지만 현실적인 의미가 있는, 통계적으로 유의미한 차이(우연한 불규칙성 때문에 생겼다고는 생각하기 어려운 차이)를 데이터 안에서 어떻게 찾아낼 수 있는지를 중요하게 여깁니다. 이것이 ‘통계적 검정’의 개념입니다. 검정력이란 ‘어떤 차이가 존재하고 있다는 가설이.. 2022. 1. 11.
'분산'과 '표준편차'로 데이터 포착하기 앞에서 우리는 비즈니스에서 ‘관심을 보여야 하는 숫자(outcome)’와 그것을 표현하는 대표적인 방법인 ‘평균’에 대해서 알아봤습니다. 비즈니스에서 가치 있는 데이터 분석 '평균'이 '중앙값', '최빈값'보다 유용한 이유 '평균'은 물론 데이터를 이해하는 데 중요한 값이지만, 현상 파악을 위해서, 보다 명확한 인과관계 통찰을 위해서는 다른 대푯값에 대한 이해도 필요합니다. 오늘은 데이터의 퍼짐 정도, 즉 데이터의 불규칙성을 표현하는 다른 대푯값인 ‘분산’과 ‘표준편차’에 대한 내용을 정리해볼게요. '분산'으로 데이터의 펼쳐진 정도 확인하기 평균이 도출된 방법을 다시 한번 살펴보겠습니다. 평균값은 그것을 참값이라고 가정했을 경우 실제 데이터에 포함되는 '참값'에서 벗어난 값'을 최소화하는 값입니다. 정확.. 2022. 1. 5.
이력서/자기소개서 작성팁, 데이터 분석 결과로 짚어보기 채용공고 & 이력서 유사도와 서류전형 결과와의 관계 “왜 누군가는 내가 지원한 채용공고에 서류 합격을 했는데 나는 떨어졌을까?” “그런 사람들과 나는 어떤 점에서 차이가 있었을까?” “내가 부족한 점은 무엇일까?” 구직 활동을 해본 사람이라면 한 번쯤(혹은 자주?) 가져봤을 궁금증입니다. 이 프로젝트는 이런 궁금증에서 출발하게 되었는데요, 서류전형 결과에 영향을 미칠 것으로 예상되는 요인 가운데 이력서와 자기소개서가 주는 영향에 대하여 분석을 해보았습니다. 과연 이력서와 자기소개서를 어떻게 작성해야 서류 합격 확률을 높일 수 있을까요? 분석 개요 가설 채용공고의 내용과 이력서(자기소개서) 내용의 유사도가 서류합격에 유의미한 영향을 미칠 것 (유사도가 높을수록 서류합격 가능성은 높아질 것) 데이터 수집 요.. 2022. 1. 2.
'평균'이 '중앙값', '최빈값'보다 유용한 이유 '참값'과 '측정값' 대푯값은 말 그대로 어떤 데이터를 대표하는 값입니다. 자료의 특징을 하나의 수로 표현한 것이지요. 18세기의 수학자들은 데이터의 불규칙성과 평균값의 관계를 끊임없이 연구했습니다. 당시 과학자들은 천문학에 깊은 관심을 보였는데, 측정이 정확하다고 가정할 경우 본래 천체의 위치를 나타내는 '참값'이 어디에 위치하는지를 수학적으로 규명하기 위해 애썼다고 합니다. 보스코비치는 불규칙성을 내포한 여러 데이터에서 '참값'을 계산하려면 '참값'과 '참값에서 벗어난 값'으로 분류해놓고 '참값에서 벗어난 값'을 최소화해야 한다고 생각했다. 위에 정리한 보스코비치의 사고방식, 즉 측정값에 내포되어 있는 참값에서 벗어난 값(차이, 절댓값)의 총합을 최소로 만드는 '신뢰할 수 있는 추측값'은 바로 '중앙.. 2021. 12. 29.
클러스터링 분석 - (6) 결과 시각화 다차원 데이터, 즉 많은 변수를 사용한 클러스터링 결과를 좀 더 빠르게 확인하기 위해서는 어떻게 해야 할까요? 대부분의 클러스터링 분석 예제를 보면 둘 내지 세 개의 변수를 축으로 산포도(scatter plot) 혹은 3D plot을 그려 클러스터가 어떤 기준으로 묶였는지 확인하는 방법을 제시하고 있습니다. 하지만, 실제 분석 상황에서는 3개 이상의 변수를 활용한 경우가 대부분이고, 클러스터의 수 역시 많아질 수 있기 때문에 산포도를 그려 군집이 어떤 특성을 갖고 있는지 확인하는 방법에는 한계가 존재합니다. 오늘은 기본적인 시각화 방법을 활용하여 클러스터링 결과를 효과적으로 확인하는 방법에 대한 이야기를 해보도록 할게요. 1단계 : 클러스터의 크기 확인 우선 가장 먼저 확인할 부분은 각 클러스터의 크기가.. 2021. 12. 25.
반응형

티스토리툴바