[선형대수 시리즈 13편] 선형독립과 종속: 중복 없는 정보란 무엇인가

이번 글에서 다룰 내용

이 글에서는 선형독립 (linear independence)과 선형종속(linear dependence)을 다룹니다.

벡터 집합에 중복 정보가 있다는 말이 무슨 뜻인지 설명합니다.
어떤 벡터가 다른 벡터들의 조합으로 표현될 수 있으면 왜 종속인지 정리합니다.
독립성이 생성 범위(span), 기저(basis), 차원(dimension)으로 이어지는 이유를 설명합니다.
프로그래밍에서 특성 중복(feature redundancy)과도 연결합니다.

이번 글에서 새로 나오는 용어

선형독립 (linear independence): 벡터들 사이에 불필요한 중복이 없는 상태입니다.
선형종속 (linear dependence): 어떤 벡터가 다른 벡터들의 선형결합으로 표현되는 상태입니다.
자명한 해 (trivial solution): 모든 계수가 0인 가장 기본적인 해입니다.
기저 (basis): 생성성과 독립성을 함께 만족하는 벡터 집합입니다.

핵심 아이디어

생성 범위(span)를 배웠다면 다음 질문은 자연스럽습니다.

이 벡터 집합 안에 불필요한 중복이 있는가?

이 질문에 답하는 개념이 선형독립(linear independence)입니다.

벡터 v1, v2, ..., vk가 선형독립이라는 것은, 다음 식이 성립할 때

a1v1 + a2v2 + ... + akvk = 0

오직 a1 = a2 = ... = ak = 0일 때만 가능하다는 뜻입니다.

반대로 0이 아닌 계수로도 이런 식이 가능하면 선형종속(linear dependence)입니다. 이는 어떤 벡터가 다른 벡터들의 조합으로 표현될 수 있다는 뜻입니다. 즉 정보가 중복되어 있습니다.

왜 그럴까요? 만약 0이 아닌 계수를 써서 위 식을 만들 수 있다면, 그중 한 항을 이항해 어떤 벡터를 나머지 벡터들의 선형결합으로 표현할 수 있습니다. 그래서 선형독립은 "어떤 벡터도 나머지 벡터들의 선형결합으로 표현될 수 없다"는 뜻과 연결됩니다.

단계별 예시

예시 1) 독립인 경우

(1, 0)과 (0, 1)은 서로 다른 축 방향을 나타내므로 선형독립입니다. 하나를 아무리 늘리거나 줄여도 다른 하나를 만들 수 없습니다.

예시 2) 종속인 경우

(1, 2)와 (2, 4)는 같은 방향입니다. 두 번째 벡터는 첫 번째 벡터의 2배이므로 독립이 아닙니다.

이를 정의로 직접 쓰면

2(1, 2) - 1(2, 4) = (0, 0)

입니다. 즉 0이 아닌 계수 2, -1로 영벡터를 만들 수 있으므로 선형종속입니다.

예시 3) 특성 중복

실무 데이터에서도 비슷한 일이 생깁니다. 예를 들어 학생 데이터에 키(cm), 키(m), 몸무게가 있다고 합시다. 여기서 키(m) = 키(cm) / 100이므로 두 특성은 독립이 아닙니다. 즉 전체 특성 수는 3개여도 실제 독립인 특성 수(차원)는 더 작을 수 있습니다.

수학 주석

독립성(independence)은 생성 범위(span)를 얼마나 효율적으로 설명하는가와 직결됩니다.
행렬 A의 열벡터들이 선형독립이라는 것은 동차 선형계 Ax=0이 자명한 해(trivial solution), 즉 x=0만 가진다는 것과 동치입니다.
종속된 벡터는 제거해도 span이 바뀌지 않을 수 있습니다. 그래서 종속성은 "무엇을 버려도 표현력이 유지되는가"를 알려 줍니다.
이후 기저(basis)는 "공간을 생성하면서도 중복이 없는 집합"으로 정의됩니다. 즉 독립성은 공간을 생성하는 데 필요한 최소 개수의 벡터를 찾는 문제와 직결됩니다.

자주 하는 오해

벡터 개수가 많으면 더 좋다고 생각하기

중복된 벡터를 많이 넣어도 새로운 방향이 추가되는 것은 아닙니다. 중요한 것은 개수보다 독립성입니다.

상관관계(correlation)와 선형독립(independence)을 같은 말로 생각하기

비슷해 보여도 다릅니다. 상관관계는 통계적 관계이고, 선형독립은 정확한 선형결합 가능성에 대한 개념입니다.

독립성 판정을 눈대중으로만 하려 하기

2차원이나 3차원에서는 그림이 도움이 되지만, 고차원에서는 소거법이나 행렬 구조를 통해 판별하는 감각이 필요합니다.

연습 또는 확장

다음 벡터 집합이 독립인지 종속인지 판단해 보세요.

(1, 0), (0, 1)
(1, 2), (2, 4)
(1, 0, 0), (0, 1, 0), (1, 1, 0)

힌트: 3번은 세 번째 벡터를 앞의 두 벡터의 합으로 표현할 수 있는지 확인해 보세요.

그리고 아래 질문도 생각해 보세요.

어떤 벡터를 제거해도 span이 변하지 않는다면, 그 벡터는 무엇을 뜻하는가?
독립성이 왜 기저(basis) 개념으로 이어지는가?

마무리

이번 글에서는 선형독립(linear independence)과 선형종속(linear dependence)을 정리했습니다.

독립은 중복 없는 방향 집합을 뜻합니다.
종속은 어떤 벡터가 다른 벡터들의 조합으로 표현된다는 뜻입니다.
이 개념은 기저(basis), 차원(dimension), 계수(rank)의 출발점입니다.
실무 데이터에서도 특성 중복(feature redundancy)을 읽는 데 중요한 감각입니다.

다음 글에서는 공간을 생성하면서도 중복이 없는 집합, 즉 기저(basis)와 차원(dimension)을 다루겠습니다.