[ML] 선형회귀와 경사하강법

회귀(Regression)
여러개의 독립변수와 한개의 종속변수간의 상관관계를 모델링하는 기법

---

1. 선형회귀 : 선형조합으로 모델링하는 회귀 기법

1) 단순선형회귀

2) 다중선형회귀

※여러개의 input데이터를 갖고 어떤 모델이 가장 적합한지 weight를 찾는것이 목적※

---

2. 비용함수(Cost Function)

- 모든 input에 대해 예측값과 실제값의 차이를 나타낸 함수 → Cost Function을 최소화 하는 것이 목적

- 선형회귀에서의 Cost Function은 MSE(Mean Square Error)를 사용한다.

---

3. 경사하강법(Gradient Decent Method)

- 반복을 통해 미분계수(기울기)가 '0'이 되는 지점을 찾는다.

1) w0, w1에 대해서 임의의 값을 설정한다(initialization, 초기화)

2) t지점에서 cost function에 대한 미분계수(기울기)를 구한다.

3) 기울기의 반대방향으로 point를 (a*기울기)의 크기만큼 이동시킨다.

4) Stop조건을 확인한다.

Stop조건
- 더이상 변수가 변하지 않는다(미분값이 0)
- 변화량이 매우 작다(미분값이 매우 작다)
- weight가 발산할 경우(error발생)

---

4. 다차원 Data로의 확장

1) 단일변수에 대한 Cost function

2) 변수가 여러개라면 다음과 같이 확장된다.

3) 다차원 input data에 대한 cost function(벡터 곱으로 표현)

---

5. 다차원 Data에 대한 Analytic Solution