PCA & SVD

본 내용은 " PCA & SVD " 의 원문 자료에서 일부 인용된 것입니다. 2024.04.06

문서 내 토픽

• 1. PCA (주성분 분석)

  PCA는 데이터의 분산(variance)을 최대한 보존하면서 서로 직교하는 새 기저(축)를 찾아, 고 차원 공간의 표본들을 선형 연관성이 없는 저차원 공간으로 변환하는 기법입니다. 데이터의 분산을 최대로하는 새로운 기저를 찾기 위해서는 데이터 행렬 A의 공분산 행렬을 구해야 합니다. 공분산 행렬의 고유분해(Eigendecomposition)를 통해 가장 큰 고유값 몇 개를 고르고, 그에 해당하는 고유벡터를 새로운 기저로 하여 데이터 벡터들을 정사영시키면 PCA 작업이 완료됩니다.

• 2. SVD (특이값 분해)

  특이값분해는 m x n 크기의 데이터 행렬 A를 U, Σ, V로 분해하는 것을 말합니다. 행렬 U와 V에 속한 열벡터는 특이벡터(singular vector)이고, 모든 특이벡터는 서로 직교하는 성질을 지닙니다. 행렬 Σ의 특이값은 모두 0보다 크거나 같으며 내림차순으로 정렬돼 있습니다. 행렬 Σ의 제곱은 행렬 A의 특이값들을 제곱한 값과 같으며, 이는 행렬 A·AT의 고유값으로 이뤄진 행렬 Λ와 동일합니다.

• 3. PCA와 SVD의 관계

  SVD는 데이터 행렬의 행과 열 모두의 기저벡터를 제공하고, 반면에 PCA는 데이터 행렬의 열의 기저 벡터만을 제공합니다. 이를 통해 SVD를 사용해서 PCA를 수행할 수 있습니다. 또한 SVD는 PCA보다 numerical한 장점이 있는데, 이는 공분산 행렬을 통한 eigen decomposition 과정에서 발생할 수 있는 컴퓨터의 수치적 문제를 방지할 수 있기 때문입니다.

Easy AI와 토픽 톺아보기

• 1. PCA (주성분 분석)

  PCA(Principal Component Analysis)는 고차원의 데이터를 저차원의 공간으로 투영하는 기법입니다. 이를 통해 데이터의 주요 특징을 효과적으로 추출할 수 있으며, 차원 축소와 데이터 압축에 널리 사용됩니다. PCA는 데이터의 분산을 최대화하는 방향으로 새로운 좌표축을 찾아 데이터를 투영하는 방식으로 동작합니다. 이를 통해 데이터의 핵심 정보를 유지하면서도 차원을 크게 줄일 수 있어 다양한 기계 학습 및 데이터 분석 문제에 활용됩니다. PCA는 선형 변환 기반의 기법이므로 비선형 데이터에는 적합하지 않을 수 있지만, 이를 보완하기 위한 다양한 확장 기법들이 연구되고 있습니다.

• 2. SVD (특이값 분해)

  SVD(Singular Value Decomposition)는 행렬의 분해 기법 중 하나로, 행렬을 세 개의 행렬로 분해하는 방법입니다. SVD는 선형대수학의 기본 개념을 활용하여 행렬의 구조를 분석하고 이해하는 데 매우 유용합니다. SVD는 데이터 압축, 차원 축소, 잡음 제거, 협업 필터링 등 다양한 분야에서 활용됩니다. 특히 PCA와 밀접한 관련이 있어, PCA를 SVD를 통해 구현할 수 있습니다. SVD는 행렬의 고유값 분해와 유사하지만, 고유값 분해는 정방 행렬에만 적용되는 반면 SVD는 모든 행렬에 적용될 수 있다는 장점이 있습니다. 이처럼 SVD는 선형대수학의 강력한 도구로, 데이터 분석과 기계 학습 분야에서 널리 활용되고 있습니다.

• 3. PCA와 SVD의 관계

  PCA(Principal Component Analysis)와 SVD(Singular Value Decomposition)는 밀접한 관련이 있습니다. 실제로 PCA는 SVD를 통해 구현될 수 있습니다. PCA는 데이터의 분산을 최대화하는 새로운 좌표축을 찾는 것이 목적이며, SVD는 행렬의 구조를 분석하고 이해하는 데 사용됩니다. PCA를 SVD를 통해 구현하는 방법은 다음과 같습니다. 먼저 데이터 행렬 X를 SVD를 통해 분해합니다. 그러면 X = UΣV^T 와 같이 분해됩니다. 여기서 U는 왼쪽 특이벡터, Σ는 특이값 행렬, V는 오른쪽 특이벡터입니다. 그리고 PCA의 주성분은 V의 열벡터가 됩니다. 즉, PCA의 주성분은 SVD의 오른쪽 특이벡터와 동일합니다. 이처럼 PCA와 SVD는 밀접한 관계를 가지고 있으며, 데이터 분석과 기계 학습 분야에서 함께 활용되고 있습니다. SVD는 PCA를 구현하는 데 유용할 뿐만 아니라, 행렬 분해와 차원 축소 등 다양한 문제에 적용될 수 있는 강력한 도구입니다.