[ML&DL] KNN Classification & Regression

KNN(K-Nearest Neighbors, K-최근접 이웃) 알고리즘은 지도 학습(Supervised Learning)에서 사용되는 간단하면서도 효과적인 분류(Classification) 및 회귀(Regression) 방법이다.

1. 기본 개념

KNN은 새로운 데이터가 주어졌을 때, 가장 가까운 K개의 데이터를 찾아 다수결(분류) 또는 평균(회귀) 방식으로 예측을 수행한다. 즉, 새로운 샘플이 어떤 클래스에 속할지를 결정할 때, 기존 데이터 중 가장 가까운 K개의 샘플을 참고하는 방식이다.

2. 작동 원리

1. 데이터셋에서 새로운 데이터와 기존 데이터 간의 거리를 계산한다. 일반적으로 유클리드 거리(Euclidean Distance)가 가장 많이 사용되지만, 맨해튼 거리(Manhattan Distance), 코사인 유사도(Cosine Similarity) 등도 활용될 수 있다.
2. 가장 가까운 K개의 데이터를 찾는다.
3. 분류(Classification): K개의 데이터 중 가장 많이 속한 클래스로 새로운 데이터를 분류한다. (다수결 방식)
4. 회귀(Regression): K개의 데이터의 평균을 계산하여 예측 값을 결정한다.

아래의 그래프를 참고해보자

 

분홍색 동그라미와 하늘 =색 세모가 train_input을 주어 졌을 때 파란색 다이아 모양의 데이터가 속하는 클래스를 찾고 싶다.

 

이때 K = 3이라고 가정하면 최근접한 3개의 데이터를 다수결로 하여 클래스를 유추한다.

따라서 위의 그림에서는 파란색 다이아를 분홍 동그라미 클래스에 속한다고 예측한다.

 

KNN Classification에서는 다수결을 원칙으로 하므로 짝수인 K는 피하는 편이다.

 

회귀의 경우 근접한 K개의 데이터의 평균값을 사용한다.

3. 하이퍼파라미터

• K 값: K 값이 너무 작으면(예: K=1) 노이즈에 민감해져 과적합(Overfitting)될 가능성이 크고, 너무 크면(예: K가 매우 큼) 경계가 흐려져 성능이 떨어질 수 있다. 따라서 적절한 K 값을 찾기 위해 교차 검증(Cross Validation)을 사용한다.
• 거리 측정 방법: 유클리드 거리(Euclidean Distance), 맨해튼 거리(Manhattan Distance), 또는 가중 거리(Weighted Distance) 등을 선택할 수 있다.
• 가중치 적용: K개의 이웃 중 거리가 가까운 데이터에 더 높은 가중치를 부여하여 예측을 정교화할 수도 있다.

k가 작아 과적합된 경우 k가 커 성능이 모호해진 경우

4. 장점과 단점

- 장점

• 이해하기 쉽고 구현이 간단함
• 비선형 데이터에 강함 (결정 경계가 곡선일 때도 잘 작동)
• 훈련(Training) 과정이 필요 없음 (모든 데이터를 저장하고 활용하는 방식, 모델 파라미터가 존재하지 않음)

- 단점

• 연산량이 많음 (새로운 데이터가 들어올 때마다 모든 데이터와 거리를 계산해야 함)
• 고차원 데이터에서 성능 저하 (차원의 저주, Curse of Dimensionality 발생 가능)
• 모든 데이터가 메모리에 저장되어야 하므로 메모리 사용량이 많음

5. 활용 분야

• 이미지 인식(Image Recognition)
• 추천 시스템(Recommendation System)
• 이상 탐지(Anomaly Detection)
• 의료 진단(Medical Diagnosis)

KNN은 데이터가 적고 연산 성능이 충분할 때 강력한 성능을 발휘하지만, 데이터가 많아지면 연산 비용이 급격히 증가하는 단점이 있다. 따라서 대규모 데이터에서는 KD-Tree, Ball Tree와 같은 공간 분할 기법을 활용하거나, 차원 축소(예: PCA)를 통해 성능을 최적화할 수 있다.

 

 

---

KNN Classification Sample Code

import matplotlib.pyplot as plt

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from sklearn.neighbors import KNeighborsClassifier

from sklearn.preprocessing import StandardScaler

from sklearn.metrics import accuracy_score, classification_report

#iris datasets 로딩

iris = load_iris()

#데이터 분류

train_input, test_input, train_target, test_target = train_test_split(iris['data'], iris['target'], test_size=0.2, random_state=42)

#데이터 정규화

ss = StandardScaler()

ss.fit(train_input)

train_scaled = ss.transform(train_input)

test_scaled = ss.transform(test_input)

#모델 만들기

kn = KNeighborsClassifier(n_neighbors=3)

kn.fit(train_scaled, train_target)

#예측 수행

predictions = kn.predict(test_scaled)

#예측 확률

proba = kn.predict(test_input)

#류 리포트 출력

print("\n분류 리포트:")

print(classification_report(test_target, predictions, target_names=iris.target_names))

#검증

kn.score(test_scaled, test_target)

KNN Regerssion Sample Code

from sklearn.model_selection import train_test_split

import numpy as np

import matplotlib.pyplot as plt

from sklearn.linear_model import LinearRegression

#가상의 데이터 만들기

np.random.seed(42)

X = np.linspace(0,10,100).reshape(-1,1)

Y = 3*X+2 + np.random.normal(0,1,size=(100,1))

#데이터 나누기

train_input, test_input, train_target, test_target = train_test_split(X,Y,test_size=0.2, random_state=42)

#모델 만들기

model = LinearRegression()

model.fit(train_input, train_target)

#예측 수행

predictions = model.predict(test_input)

# 예측 결과 시각화

plt.scatter(test_input, test_target, label="y")

plt.scatter(test_input, predictions, label="y^", color="red")

plt.title("Linear Regression 예측 결과")

plt.xlabel("X")

plt.ylabel("y")

plt.legend()

plt.show()

print(model.score(test_input, test_target))