피쳐 선택: 불필요한 피처는 제거하고 데이터의 특징을 잘 표현하는 주요 피처만 선택하는 것
피처 추출: 기존 변수들의 조합으로 새로운 특징을 생성하는 것
- PCA, SVD, NMF, LDA 등이 있음
PCA(Principle Component Analysis):
- (쉽게) 데이터의 분산이 최대가 되는 축에 데이터를 정사영시켜서 차원을 축소하는 방법
- (수학적으로) 입력 데이터의 공분산 행렬의 고유벡터(축, axis)를 구하고, 이렇게 구한 고유 벡터에 입력 데이터를 정사영시켜서 차원을 축소하는 방법
** 공분산: 두 변수가 함께 변하는 정도 / 공분산 행렬: 데이터의 구조를 설명해줌(공분산행렬로 공분산, 각 변수의 분산을 알 수 있음(변수개 많을경우, 여러 개의 두 변량 값의 공분산)(공분산 행렬 = 대칭 행렬, 정방 행렬)
- 만약 이를 통해 선형변형하면 → 힘이 들어가는 방향으로 늘린다는 것)
** 고유 벡터: 선형 변환이 일어난 후에도 방향이 변하지 않는, 0이 아닌 벡터(공분산 행렬의 고유 벡터: 데이터가 어떤 방향으로 분산되어 있는지)
** 고유 값: 고유벡터 방향으로 얼마만큼의 크기로 벡터공간이 늘려지는 지를 얘기한다(해당 벡터에 정사영했을 때의 분산 값. 고유 벡터의 크기)
- 차원은 곧 입력 데이터의 피처를 뜻하므로, 데이터 압축 기법으로 볼 수 있음.
- 또한 PCA는 고유값이 가장 큰, 즉 데이터의 분산이 가장 큰 순(데이터가 가장 많이 흩뿌려져 있는)으로 주성분 벡터를 추출하는데, 먼저 뽑힌 벡터는 뒤에 있는 벡터보다 데이터를 더 잘 설명할 수 있기 때문에 노이즈 제거 기법이라고도 불림
SVD(Singular Value Decomposition):
- 행렬 R에 대해 세 가지 행렬의 곱으로 분해하는 것.
- 고유값 분해의 일반화된 버전이라고 말할 수 있음.
- 고유값 분해는 정사각행렬이 아니거나 역행렬이 존재하지 않을 경우, 해를 구할 수 없음.
- (추천시스템식) 행렬 R에 대해 유저와 아이템의 잠재 요인을 포함할 수 있는 행렬로 분해하는 것
- 행렬 $U$: $AA^T$를 고유값분해(eigendecomposition)해서 얻어진 직교행렬
- $U$의 열벡터: $AA^T$의 고유벡터
- 유저 잠재요인 행렬
- 행렬 $D$: 직사각 대각 행렬, 대각 원소들은 R의 singular value(특이치)로 중요도를 나타냄
- $AA^T$와 $A^TA$의 고유값의 제곱근
- 잠재요인 대각행렬
- 행렬 $V$: $A^TA$를 고유값분해(eigendecomposition)해서 얻어진 직교행렬
- $V$의 열벡터: $A^TA$의 고유벡터
- 아이템 잠재요인 행렬
