[선형대수 시리즈 17편] 직교와 정사영: 가장 가까운 점 찾기

이번 글에서 다룰 내용

이 글에서는 직교 (orthogonality)와 정사영 (projection)을 다룹니다.

직교가 내적(inner product) 관점에서 무엇인지 정리합니다.
정사영이 왜 "가장 가까운 점"을 주는지 설명합니다.
오차(error)를 설명된 부분과 잔차 (residual)로 나누는 관점을 소개합니다.
최소제곱(least squares)과 선형회귀 (linear regression)로 이어지는 다리를 놓습니다.

이번 글에서 새로 나오는 용어

직교 (orthogonality): 두 벡터의 내적이 0인 관계입니다.
정사영 (projection): 어떤 벡터를 부분공간 안의 가장 가까운 점으로 보내는 변환입니다.
잔차 (residual): 정사영 뒤에도 설명되지 않고 남는 차이입니다.
직교기저 (orthogonal basis): 서로 직교하는 기저입니다.

핵심 아이디어

여러 데이터 점을 하나의 직선이나 평면으로 설명하고 싶은데 정확히 맞지 않는 경우를 떠올려 봅시다. 이때 "설명 가능한 범위 안에서 가장 가까운 점"을 찾는 핵심이 바로 정사영(projection)입니다.

직교 (orthogonality)는 단순히 직각 그림이 아닙니다. 이 글에서는 유클리드 내적(Euclidean inner product)을 기준으로, 두 벡터의 내적이 0이면 직교라고 말합니다.

u · v = 0

예를 들어 u = (1, 0), v = (0, 1)이면

u · v = 1*0 + 0*1 = 0

이므로 두 벡터는 직교합니다.

직교가 중요한 이유는 서로 다른 방향의 영향이 섞이지 않는 가장 깔끔한 관계를 제공하기 때문입니다. 그래서 직교는 좌표계, 오차 분해, 근사 문제에서 매우 강력한 구조가 됩니다.

정사영(projection)은 어떤 벡터를 주어진 유한차원(finite-dimensional) 부분공간 안에서, 유클리드 거리 기준으로 가장 가까운 벡터로 보내는 과정입니다.

왜 정사영이 "가장 가까운 점"인가

벡터 y를 어떤 부분공간 W 위로 정사영했다고 합시다. 정사영 결과를 p라고 하면, 오차 y - p는 W 전체와 직교합니다. 이 조건 때문에 p는 W 안의 다른 어떤 벡터보다 y에 가장 가깝습니다.

직관적으로 말하면, y-p가 이미 W에 수직이므로 W 안에서 다른 방향으로 조금 더 움직이면 피타고라스 정리 때문에 거리가 더 커집니다. 그래서 정사영은 최소 오차 근사(best approximation) 의 수학적 형태입니다.

단계별 예시

예시 1) 직선 위로의 정사영 계산

벡터 y = (3, 4)를 u = (1, 0)이 만드는 직선 위로 정사영해 보겠습니다. 한 벡터 u가 만드는 1차원 부분공간 위 정사영은

proj_u(y) = ((y · u) / (u · u)) u

로 쓸 수 있습니다. 계산하면

y · u = 3
u · u = 1
proj_u(y) = 3(1, 0) = (3, 0)

입니다. 오차는

y - proj_u(y) = (0, 4)

이고, 실제로 (0, 4) · (1, 0) = 0이므로 직교합니다.

예시 2) 데이터 근사

어떤 데이터 벡터를 특정 부분공간으로 근사한다고 합시다. 이 부분공간이 "모델이 설명할 수 있는 범위"라면, 정사영은 그 범위 안에서 가장 잘 맞는 설명을 줍니다. 남는 차이는 잔차 (residual)입니다.

예시 3) 노이즈 분리의 이상적 상황

신호 처리(signal processing)에서는 관측 신호를 "원하는 성분 + 잡음(noise)"으로 나누고 싶을 때가 많습니다. 만약 원하는 신호가 특정 부분공간에 놓여 있고 잡음이 그 공간과 직교한다고 가정할 수 있다면, 정사영을 통해 두 성분을 분리하는 해석이 가능합니다. 다만 실무에서는 이런 가정이 완벽히 성립하지 않는 경우가 많아 추가 기법이 필요합니다.

수학 주석

정사영(projection)의 핵심 조건은 잔차 (residual)가 부분공간에 직교한다는 점입니다.
여기서 "가장 가까운"은 유클리드 노름(Euclidean norm) ||y-p||_2를 최소화한다는 뜻입니다.
유한차원 부분공간에서는 정사영이 유일하게 존재합니다.
한 벡터가 만드는 1차원 부분공간 정사영은 proj_u(y) = ((y · u) / (u · u)) u로 쓸 수 있지만, 일반 부분공간에서는 기저나 행렬을 이용해 계산합니다.
직교기저(orthogonal basis)를 사용하면 정사영 계산이 훨씬 단순해집니다. 특히 직교정규기저(orthonormal basis)에서는 길이 보정까지 단순해져 각 축 성분을 바로 읽기 쉽습니다.

즉 직교는 아름다운 그림이 아니라, 계산과 해석을 단순하게 만드는 구조입니다.

자주 하는 오해

직교를 2차원 직각으로만 생각하기

고차원에서는 그림을 그릴 수 없어도 내적이 0이면 직교입니다. 그래서 정의를 내적으로 이해하는 것이 중요합니다.

정사영은 그림자 비유만 알면 된다고 생각하기

비유는 도움이 되지만, 핵심은 "가장 가까운 근사"와 "잔차의 직교"입니다. 이 점을 놓치면 최소제곱과 연결되지 않습니다.

오차는 그냥 남는 차이라고만 생각하기

정사영에서는 오차가 임의로 남는 것이 아니라, 설명 공간과 직교하는 방향으로 남습니다. 이것이 매우 중요한 구조입니다.

연습 또는 확장

y = (2, 3)을 u = (1, 1) 방향으로 정사영한 벡터와 잔차를 구해 보세요.
왜 정사영 오차는 부분공간과 직교해야 하는가?
정사영 결과가 가장 가까운 점이라는 것은 어떤 거리 기준을 쓰고 있는가? 다른 노름을 쓰면 결과가 달라질 수 있는가?
직교기저(orthogonal basis)가 있으면 계산이 왜 쉬워지는가?

마무리

이번 글에서는 직교(orthogonality)와 정사영(projection)을 정리했습니다.

직교는 내적(inner product)이 0인 관계입니다.
정사영은 부분공간 안에서 가장 가까운 근사를 줍니다.
잔차(residual)는 설명 공간과 직교합니다.
이 구조는 다음 글의 최소제곱(least squares)과 선형회귀(linear regression)로 이어집니다.

다음 글에서는 해가 정확히 맞지 않을 때 왜 최소제곱이 자연스러운 선택인지 설명하겠습니다.