차원의 저주: 데이터 차원이 증가할수록 해당 공간의 크기가 기하급수적으로 증가하여 데이터 간 거리가 기하급수적으로 멀어지고 희소한 구조를 갖게 되는 현상을 의미

** 희소한 구조 → 빈 공간이 생김(0으로 표시)

• 처리한 파라미터가 늘어나므로, 시/공간 복잡도가 늘어남

• 과적합의 위험이 있음(차원이 올라갈수록 데이터를 설명하려는 변수의 개수는 늘어나지만, 샘플은 적기 때문)

  • 데이터 공간이 2차원이라고 가정했을 때, 점(샘플)들이 멀리 떨어진 채로 학습이 될 테고, 새로 들어올 Test 데이터도 기존 점들과 멀리 떨어진 것이 들어올 것이기 때문에 과적합 가능성이 높은 것.

  

이를 해결하기 위해

• 더 많은 데이터를 추가하거나 PCA, LDA, LLE, MDA와 같은 차원 축소 알고리즘으로 차원을 줄인다.