[머신러닝] 선형회귀 정리하기

이번에는 머신러닝에서 중요개념인 선형회귀를 정리해 보려고 합니다. 

머신러닝에서 선형회귀란 함수식이 선형성을 띤다는 것을 뜻합니다. 이때의 선형성은 독립변수가 아닌 가중치(기울기)를 기준으로 합니다. 이는 최소제곱법이라는 머신러닝의 학습기법과 관련 있습니다. 최소제곱법이란, 실제 선형함수가 내놓은 예측값이 실제값과 얼마나 오차가 있는지를 계산하여, 이러한 오차가 0에 가까워 지게끔 수정하기 위한 방법입니다. 이때 독립변수가 아닌 가중치가 선형성이 기준이 되는 까닭은, 최소제곱법을 통하여 최적의 가중치인 w 값을 구하려고 할 때, 독립변수와 실제값은 고정되어 있다고 가정하고, 입력 가능한 여러 가중치 값들 중 오차를 최소로 하는 값을 선별해 내기 때문입니다. 예를 들어 공부한 시간과 성적에 관한 선형함수를 떠올릴 수 있습니다. 이때 선형함수가 y = 10x이라면, 5시간을 공부했을 때 50점, 8시간을 공부했을 때 80점을 받으리라는 예측값을 반환합니다. 그런데 실제 데이터에서는 5시간을 공부했을 때 70점을 받았다면, 실제값과 예측값 간에는 20점의 오차가 발생하는 것입니다. 이때 우리가 기존의 모델의 오차를 줄이기 위해 수정하여야 하는 값은, 5시간이라는 독립변수가 아니라 10이라는 기울기일 것입니다. 이 기울기가 바로 머신러닝 모델에서의 가중치(weight)에 해당합니다. 따라서 최소제곱법을 이용해 머신러닝 학습을 할 때, 중요한 것은 독립변수 값이 아닌 가중치 값이 되는 것입니다. 따라서 머신러닝에서 선형회귀, 비선형회귀를 구분할 때 그 선형성은 바로 가중치의 특성에 따른 분류인 것입니다.