용어 사전 math 용어 페이지

선형회귀

선형 관계를 가장 잘 맞추는 예측 모델

linear-regression #math#machine-learning#linear-algebra

English version

다른 이름

linear regression

선수 개념

관련 개념

최소제곱 정규방정식 잔차 열공간

핵심 아이디어

선형회귀는 입력과 출력 사이의 선형 관계를 데이터에 가장 잘 맞추는 모델입니다. 선형대수 관점에서는 설계행렬 A, 파라미터 벡터 x, 관측 벡터 b를 두고 Ax ≈ b를 가장 잘 만족시키는 x를 찾는 문제로 볼 수 있습니다.

이때 핵심은 모든 데이터를 정확히 맞추는 것이 아니라, 잔차의 제곱합이 최소가 되도록 하는 것입니다. 그래서 선형회귀는 자연스럽게 최소제곱과 정규방정식으로 이어집니다.

이 블로그에서의 역할

Mathbong에서는 선형회귀를 통계 모델로 길게 파기보다, 최소제곱과 정사영이 실제 데이터 문제에서 어떻게 쓰이는지 보여 주는 응용 예시로 배치합니다.

이 개념을 다루는 글

[선형대수 시리즈 17편] 직교와 정사영: 가장 가까운 점 찾기 직교와 정사영을 통해 벡터를 기준 공간에 가장 가깝게 맞추는 방법을 설명합니다.[Linear Algebra Series Part 18] Least Squares and the Basics of Linear Regression Use [[least-squares|least squares]] and [[linear-regression|linear regression]] to find the best approximate solution when `Ax = b` has no exact answer.[선형대수 시리즈 18편] 최소제곱과 선형회귀의 기초 해가 정확히 맞지 않는 선형시스템에서 최소제곱 해를 구하는 아이디어를 선형회귀와 연결합니다.