커널 밀도 추정 KDE

Summary

• 커널 밀도 추정(KDE)은 데이터가 특정 분포를 따른다는 가정 없이 관측된 데이터만으로 확률 밀도 함수를 추정하는 방법이다.
• 커널은 적분값이 1이고 대칭인 비음수 함수이며, 가우시안과 같은 함수를 각 데이터 지점마다 씌워 개별 분포를 만든다.
• 최종 밀도 추정은 모든 관측치에 적용된 커널 함수들을 합산·평균하여 히스토그램보다 부드러운 곡선을 도출하는 과정이다.
• 대역폭 파라미터는 커널의 폭을 조절하며, 값이 너무 작으면 과적합되고 너무 크면 데이터 특징이 뭉개진다.
• 도출된 값은 특정 구간의 확률(면적)이 아니라 해당 값이 분포 내에서 얼마나 밀집되어 나타나는지를 보여주는 밀도 추정치다.

---

개요

실제 데이터는 정규분포를 따르지 않고 어떤 분포를 따르는지 알 수 없는 경우가 많다. 따라서 데이터의 분포를 추정하여 확률 밀도(Probability Density)를 구할 필요가 있으며, 이를 위한 방법으로 Histogram, Kernel Density Estimation, K-nearest neighbor 등이 존재한다.

---

KDE란?

커널(Kernel)이란?

커널이란 적분값이 1이고, 비음수(non-negative)이며, 모든 값이 대칭인 함수를 의미한다.

$$\int K(u)du=1;K(-u)=K(u)$$

• $K(u)$: 커널 함수
• $u$: 정규화된 입력값

커널함수	형태	특징
Quartic	$(1-u^2{)}^2$	부드러운 종 모양, 밀도 추정에 자주 활용
Triangular	$1-\Vert u\Vert$	중심에서 멀어질수록 선형감소, 계산 효율 좋음
Triweight	$(1-u^2{)}^3$	이상치에 강함
Epanechnikov	$(1-u^2)$	MSE 최소형태, 가장 널리 사용됨

밀도 추정(Density Estimation)이란?

밀도 추정은 데이터를 통해 확률변수(RV)의 특성을 추정하는 것을 목적으로 한다.

밀도 ≠ 확률

• 확률은 특정 구간 $[a,b]$에서의 적분값(면적)이다.
• 밀도는 PDF의 함수값으로, $x=a$에서의 확률은 0이지만 Density는 $f(a)$로 0이 아니다.

KDE(Kernel Density Estimation)란?

KDE란 커널 함수를 이용하여 밀도를 추정하는 방법이다.

$$\widehat{f_h}(x)=\frac{1}{nh}\sum _{i=1}^{n}K\left(\frac{x-x_i}{h}\right)$$

• $h$: 대역폭(Bandwidth), 커널의 폭을 조절하는 파라미터
• $x_i$: 관측된 데이터 포인트
• $n$: 전체 데이터 개수

대역폭(Bandwidth) $h$

• 너무 작으면 곡선이 들쑥날쑥하여 과적합이 발생한다.
• 너무 크면 개별 데이터 간 차이가 사라진다.

---

결론

데이터의 분포를 모를 때, 비모수적 확률밀도함수를 추정하기 위해 KDE를 활용한다. 각 변수에 가우시안 커널을 얹은 후 합치고 정규화하여 KDE를 생성한다. 생성된 KDE에 변수값을 넣었을 때 나오는 값이 확률밀도 추정치이며, 이는 확률이 아니라 데이터 분포를 고려했을 때 그 값이 얼마나 자주 나타나는지를 의미한다.

---

Reference

• 커널 밀도 추정
• KDE 이란?
• 스타벅스로 풀어보는 공간데이터 사이언스 - 커널함수