PCA & SVD

소개글

PCA와 SVD에 대한 간략한 보고서입니다.

목차

PCA (주성분 분석)
SVD (특이값 분해)
Relationship between PCA and SVD

본문내용

PCA는 데이터의 분산(variance)을 최대한 보존하면서 서로 직교하는 새 기저(축)를 찾아, 고차원 공간의 표본들을 선형 연관성이 없는 저차원 공간으로 변환하는 기법이다. 이를 그림으로 나타내면 아래와 같다. 3차원 공간에 있는 데이터들이 서로 수직인 두 개의 주성분(PC1, PC2)을 새로운 기저로, 선형변환된 것을 확인할 수 있다. 데이터의 분산을 최대로하는 새로운 기저를 찾기 위해서는 데이터 행렬 A의 공분산 행렬을 구해야 한다. 데이터가 각 변수별로 평균이 0으로 맞춰져 있을 때(pre-centering), 공분산 행렬은 아래와 같다.
PCA의 새로운 축을 찾기 위해서는 위 공분산행렬을 아래처럼 고유분해(Eigendecomposition)를 수행해야한다.

참고 자료

https://ratsgo.github.io/from%20frequency%20to%20semantics/2017/04/06/pcasvdlsa/
https://towardsdatascience.com/pca-and-svd-explained-with-numpy-5d13b0d2a4d8
https://intoli.com/blog/pca-and-svd/