경사하강법

ML | DL

[ML] 선형회귀와 경사하강법

회귀(Regression) 여러개의 독립변수와 한개의 종속변수간의 상관관계를 모델링하는 기법 1. 선형회귀 : 선형조합으로 모델링하는 회귀 기법 1) 단순선형회귀 2) 다중선형회귀 ※여러개의 input데이터를 갖고 어떤 모델이 가장 적합한지 weight를 찾는것이 목적※ 2. 비용함수(Cost Function) - 모든 input에 대해 예측값과 실제값의 차이를 나타낸 함수 → Cost Function을 최소화 하는 것이 목적 - 선형회귀에서의 Cost Function은 MSE(Mean Square Error)를 사용한다. 3. 경사하강법(Gradient Decent Method) - 반복을 통해 미분계수(기울기)가 '0'이 되는 지점을 찾는다. 1) w0, w1에 대해서 임의의 값을 설정한다(initi..

ML | DL

[ML/DL] 경사 하강법 SGD 실습(with.python)

딥러닝 학습 초기 a지점에서의 x값을 W0라고 하자. 해당 지점에서의 y값은 L이다. 이 때, a의 접선 즉 a의 순간 기울기(dL/dW0)는 음수가 나타나고 a'에서의 기울기는 양수가 나타난다. 기울기가 가장 작은값, 즉 기울기가 0에 수렴하도록 W의 값을 조절해야 가장 최적의 추세선을 그릴 수 있게 된다. 이를 수식으로 나타내면 다음과 같으며 이런 작업을 '경사하강법' 이라고 한다. 딥러닝관점에서 볼때 W를 가중치라고 부르며 가중치의 비중에 따라 신경망이 어떤 데이터에 더 중요도를 줄것인지 조절한다. 위와같은 알고리즘을 통해서 에러를 최소한으로 수렴하도록 최적의 기울기를 찾아내는것이 딥러닝의 목적이다. SGD(Stochastic Gradient Descent) 확률적 경사 하강법 - 오차가 더 이상 ..

시그널보내
'경사하강법' 태그의 글 목록