[선형대수 시리즈 19편] 고유값과 고유벡터: 변환 속에서 유지되는 축

이번 글에서 다룰 내용

이 글에서는 고유값 (eigenvalue)과 고유벡터 (eigenvector)를 다룹니다.

변환 속에서 같은 직선 위에 남는 특별한 벡터가 무엇인지 설명합니다.
고유값이 스케일 변화율이라는 점을 정리합니다.
대각화 (diagonalization)와 주성분 분석 (PCA) 직관으로 연결합니다.
왜 이 개념이 분해와 차원축소의 핵심인지 보여 줍니다.

이번 글에서 새로 나오는 용어

고유벡터 (eigenvector): 변환 후에도 같은 직선 위에 남는 특별한 벡터입니다.
고유값 (eigenvalue): 그 벡터가 얼마나 스케일되는지를 나타내는 값입니다.
대각화 (diagonalization): 좋은 고유벡터 기저 위에서 행렬을 단순화하는 표현입니다.
주성분 분석 (PCA): 공분산 구조의 중요한 방향을 찾는 대표적 응용입니다.

핵심 아이디어

지금까지 우리는 선형변환(linear transformation), 기저(basis), 정사영(projection)을 차례로 봤습니다. 이제 특정 변환 A에 대해 "변환을 받아도 같은 직선 위에 남는 특별한 벡터가 있는가?"를 묻습니다. 이것이 고유벡터 (eigenvector)입니다.

보통 벡터에 행렬을 곱하면 방향도 바뀌고 크기도 바뀝니다. 그런데 어떤 특별한 벡터는 행렬을 곱해도 같은 직선(일차원 부분공간) 위에 남고, 스케일만 바뀝니다. 이때 그 벡터가 고유벡터이고, 얼마나 늘어나거나 줄어드는지를 나타내는 수가 고유값입니다.

수식으로는 다음처럼 씁니다.

Av = λv

여기서 v는 0이 아닌 고유벡터, λ는 고유값입니다.

이 식의 뜻은 단순합니다. A를 적용해도 v는 같은 직선 위에 남고, 크기가 |λ|배가 됩니다. λ < 0이면 방향은 반대가 됩니다.

왜 고유벡터가 중요한가

복잡한 변환도 "특별한 축"을 기준으로 보면 훨씬 단순하게 이해할 수 있습니다. 고유벡터는 그런 축을 제공합니다.

어떤 방향은 크게 늘어납니다.
어떤 방향은 줄어듭니다.
어떤 방향은 부호가 바뀔 수 있습니다.

이 구조를 잡으면 행렬을 더 잘 읽을 수 있고, 데이터에서 중요한 변화 방향을 찾는 문제로도 이어집니다.

단계별 예시

예시 1) 대각행렬(diagonal matrix)

대각행렬

A = [2 0
     0 3]

을 보겠습니다. x축 방향 벡터 (1, 0)은 2배가 되고, y축 방향 벡터 (0, 1)은 3배가 됩니다. 이 두 벡터는 같은 직선 위에 남으므로 고유벡터이고, 고유값은 각각 2와 3입니다.

예시 2) 대각이 아닌 간단한 행렬

다음 행렬을 보겠습니다.

A = [2 1
     0 3]

이 행렬은 대각행렬이 아니지만 여전히 고유벡터를 가질 수 있습니다. 즉 고유값 문제는 "대각행렬에서만 성립하는 특별한 현상"이 아니라, 더 일반적인 행렬에서도 변환의 중요한 축을 찾는 방법입니다.

예시 3) 데이터 분산 방향과 주성분 분석 (PCA)

주성분 분석(PCA)에서는 데이터가 가장 크게 퍼지는 방향을 찾고 싶습니다. 이 방향은 공분산 행렬(covariance matrix)의 고유벡터로 나타납니다.

공분산 행렬은 대칭(symmetric)이면서 양반정부(positive semidefinite)이므로, 고유값이 모두 0 이상이고 서로 직교하는 고유벡터들을 얻을 수 있습니다. 큰 고유값은 그 방향으로의 분산이 크다는 뜻이므로, 고유벡터는 데이터의 중요한 축을 찾는 도구가 됩니다.

예시 4) 반복 적용되는 변환

어떤 변환을 여러 번 반복 적용할 때, 절댓값이 가장 큰 고유값에 대응하는 방향이 장기적으로 더 강하게 드러날 수 있습니다. 이런 관점은 거듭제곱 방법(power iteration), 마르코프 체인, 검색 순위 문제 등과 연결됩니다.

수학 주석

고유값 문제는 행렬을 "특별한 방향" 기준으로 다시 읽는 시도입니다.
n x n 행렬이 선형독립인 n개의 고유벡터를 가질 때, 그 고유벡터들을 기저로 삼아 행렬을 대각화할 수 있습니다.
즉 어떤 가역행렬 P와 대각행렬 D에 대해

A = P D P^-1

형태로 쓸 수 있습니다.

하지만 모든 실수 행렬이 실수 고유벡터를 가지는 것은 아니고, 반복된 고유값이 있어도 충분한 개수의 독립 고유벡터가 없을 수 있습니다. 그래서 뒤의 특이값 분해(SVD)가 더 일반적인 도구로 중요합니다.

자주 하는 오해

고유값은 공식 계산 문제라고만 생각하기

계산도 중요하지만, 더 중요한 것은 "어떤 방향이 변환 속에서 특별한가"를 읽는 관점입니다.

모든 행렬에 예쁜 고유벡터 기저가 있다고 생각하기

그렇지 않습니다. 이 한계 때문에 특이값 분해(SVD)가 더 넓게 쓰입니다.

고유값이 크면 무조건 좋다고 생각하기

고유값 크기의 의미는 맥락에 따라 다릅니다. 어떤 문제에서는 중요한 변동 방향을 뜻하지만, 어떤 문제에서는 오차 증폭이나 수치 불안정을 키울 수도 있습니다.

연습 또는 확장

다음 질문을 생각해 보세요.

왜 대각행렬의 표준기저는 곧 고유벡터가 되는가?
고유벡터가 "특별한 축"이라는 말은 무엇을 뜻하는가?
주성분 분석(PCA)에서 왜 고유벡터가 중요한가?

마무리

이번 글에서는 고유값(eigenvalue)과 고유벡터(eigenvector)를 정리했습니다.

어떤 벡터는 변환 후에도 같은 직선 위에 남습니다.
그 특별한 벡터가 고유벡터이고, 스케일 변화율이 고유값입니다.
이 개념은 주성분 분석(PCA), 반복 변환, 행렬 이해를 단순화하는 데 중요합니다.
하지만 모든 행렬이 대각화되는 것은 아니므로 더 일반적인 도구가 필요합니다.

다음 글에서는 그 더 일반적인 도구인 특이값 분해(SVD)와 차원축소를 다루겠습니다.