회귀(Regression)
여러개의 독립변수와 한개의 종속변수간의 상관관계를 모델링하는 기법
1. 선형회귀 : 선형조합으로 모델링하는 회귀 기법
1) 단순선형회귀
2) 다중선형회귀
※여러개의 input데이터를 갖고 어떤 모델이 가장 적합한지 weight를 찾는것이 목적※
2. 비용함수(Cost Function)
- 모든 input에 대해 예측값과 실제값의 차이를 나타낸 함수 → Cost Function을 최소화 하는 것이 목적
- 선형회귀에서의 Cost Function은 MSE(Mean Square Error)를 사용한다.
3. 경사하강법(Gradient Decent Method)
- 반복을 통해 미분계수(기울기)가 '0'이 되는 지점을 찾는다.
1) w0, w1에 대해서 임의의 값을 설정한다(initialization, 초기화)
2) t지점에서 cost function에 대한 미분계수(기울기)를 구한다.
3) 기울기의 반대방향으로 point를 (a*기울기)의 크기만큼 이동시킨다.
4) Stop조건을 확인한다.
Stop조건
- 더이상 변수가 변하지 않는다(미분값이 0)
- 변화량이 매우 작다(미분값이 매우 작다)
- weight가 발산할 경우(error발생)
4. 다차원 Data로의 확장
1) 단일변수에 대한 Cost function
2) 변수가 여러개라면 다음과 같이 확장된다.
3) 다차원 input data에 대한 cost function(벡터 곱으로 표현)
5. 다차원 Data에 대한 Analytic Solution
'ML | DL' 카테고리의 다른 글
| [ML/DL] Cross-Entropy를 이용한 MNIST (0) | 2022.02.17 |
|---|---|
| [ML / DL] MNIST 학습모델 (0) | 2022.02.16 |
| [ML/DL] 경사 하강법 SGD 실습(with.python) (0) | 2022.02.16 |
| [ML/DL] 딥러닝 기본 개념 (0) | 2022.02.15 |
