본문 바로가기

클러스터링6

클러스터링 분석 - (6) 결과 시각화 다차원 데이터, 즉 많은 변수를 사용한 클러스터링 결과를 좀 더 빠르게 확인하기 위해서는 어떻게 해야 할까요? 대부분의 클러스터링 분석 예제를 보면 둘 내지 세 개의 변수를 축으로 산포도(scatter plot) 혹은 3D plot을 그려 클러스터가 어떤 기준으로 묶였는지 확인하는 방법을 제시하고 있습니다. 하지만, 실제 분석 상황에서는 3개 이상의 변수를 활용한 경우가 대부분이고, 클러스터의 수 역시 많아질 수 있기 때문에 산포도를 그려 군집이 어떤 특성을 갖고 있는지 확인하는 방법에는 한계가 존재합니다. 오늘은 기본적인 시각화 방법을 활용하여 클러스터링 결과를 효과적으로 확인하는 방법에 대한 이야기를 해보도록 할게요. 1단계 : 클러스터의 크기 확인 우선 가장 먼저 확인할 부분은 각 클러스터의 크기가.. 2021. 12. 25.
클러스터링 분석 - (5) 적정 군집수(k) 찾기 대표적인 클러스터링 방법, k-평균(k-means) 군집화 알고리즘을 사용할 때 고민이 필요한 부분 중 한 가지는 군집수(k) 결정입니다. 군집분석은 비지도 학습(unsupervised learning) 방법 중 하나이고, 비지도 학습에서는 보통 타겟값 혹은 목표값이 없는 데이터를 사용하기 때문에 군집화가 잘 되었는지, 혹은 적정 클러스터(군집)의 수는 몇 개인지 판단하는 것은 매우 어렵습니다. 하지만, 분석가의 판단을 돕고, 최선의 결과를 도출하기 위한 방법으로 몇 가지를 생각해 볼 수 있는데요, 하나씩 살펴보도록 하겠습니다. Inertia value를 활용한 군집 응집도 탐색 Inertia value에 대하여 설명하기 전에 k-means 알고리즘의 동작 원리를 간단히 알아보는 것이 좋을 것 같습니다... 2021. 12. 22.
클러스터링 분석 - (4) 변별력 있는 변수 찾기 기계학습(machine learning)에서는 분석 목적과 데이터 특성에 맞는 적절한 알고리즘을 선택하고 매개변수를 잘 조정하는 것도 중요하지만, 좋은 입력 데이터를 만들기 위해 적절한 변수를 찾는 것이 더욱 중요합니다. 해결해야 할 문제와 사용할 데이터의 연관성이 낮으면 아무리 좋은 알고리즘을 적용한다고 할 지라도 좋은 결과를 기대할 수 없을 테니까요. 이것은 예측 분석뿐만 아니라 클러스터링 분석에서도 마찬가지입니다. 이번 시간에는 더 나은 군집화 결과를 만들 수 있도록 변별력 높은 변수를 찾아가는 과정에 대하여 알아보도록 하겠습니다. 너무 많은 변수를 사용할 위험 클러스터링 분석은 데이터 전처리를 위해 사용하기도 하지만 군집화 결과 자체를 현업에 활용하기 위한 목적으로도 많이 사용됩니다. 대표적인 사.. 2021. 12. 21.
클러스터링 분석 - (3) 스케일 조정 클러스터링 분석, 세 번째 이야기. 오늘은 데이터 스케일 조정(scaling)에 대한 이야기입니다. 데이터 스케일이란? 데이터 스케일(scale)은 변수를 구성하는 값들의 크기, 규모, 혹은 범위를 의미합니다. 이름 간식비용(원) 식사비용(원) 종원 10,000 75,000 여운 0 25,000 상인 6,000 60,000 지윤 8,000 55,000 예시를 한 번 보실까요? 4명의 친구가 지난 일주일간 간식 구입과 점심 식대로 지불한 비용을 표로 정리했습니다. 간식 비용은 0~10,000원에서 값이 분포되어 있고, 식사비용은 25,000~75,000원 사이에 값이 분포되어 있습니다. 변수끼리 스케일 차이가 크게 벌어지면, 값을 비교할 때 판단을 쉽게 할 수 없는 문제가 발생합니다. 예를 들어, 식사보다.. 2021. 12. 19.
클러스터링 분석 - (2) 결측값 클러스터링 분석 두 번째 시간, 결측값(missing value) 처리 방법에 대한 이야기입니다. 클러스터링 분석을 위한 변수의 조건 지난 시간에 클러스터링 분석(Distance-based Method를 활용할 경우에 한 함)을 위해서는 개체 특성 간의 차이 계산이 가능하도록 변수가 연속형 변수의 형태를 띄고 있어야 한다는 이야기를 했습니다. 그런데 차이 계산을 위해서는 변수의 값들이 크기를 가진 숫자 형태라는 조건 말고 또 다른 조건이 필요해요. 그것은 바로 개체들이 빠짐없이 값을 갖고 있어야 한다는 점입니다. 예를 들어 어떤 변수(특성)를 고객을 구분하는 중요한 단서 중 하나로 사용하려고 하는데, A라는 고객은 그 변수(특성)에 해당하는 값을 가지고 있지만, B라는 고객은 값을 가지고 있지 않다면 어.. 2021. 12. 19.
클러스터링 분석 - (1) 범주형 변수 클러스터링(군집) 분석을 하면서 고민했던 부분들을 조금씩 정리해 보려고 합니다. 분석 기법에 대한 이야기보다는 실무에서 클러스터링 분석을 진행하면서 고려할 부분이나 미리 염두에 두면 좋을 부분들에 대한 이야기가 주가 될 것 같습니다. 오늘은 그 첫 번째 시간으로 범주형 변수(categorical variables)에 대한 이야기를 해볼께요. 범주형 변수 이야기를 하기에 앞서 클러스터링 분석을 위한 방법론은 다양하지만, 잘 알려지고, 또 흔히 많이 사용되는 방식은 ‘거리’를 이용한 방식(Distance-Based Methods)입니다. 클러스터링은 쉽게 말하자면 유사한 것끼리 묶어주는 작업을 의미합니다. 여기서 이 유사한 정도를 계산하기 위한 단위로 ‘거리’를 사용한다는 의미죠. 이 ‘거리’라는 것은 짝지.. 2021. 12. 18.
반응형

티스토리툴바