ML | DL
[ML/DL] 경사 하강법 SGD 실습(with.python)
딥러닝 학습 초기 a지점에서의 x값을 W0라고 하자. 해당 지점에서의 y값은 L이다. 이 때, a의 접선 즉 a의 순간 기울기(dL/dW0)는 음수가 나타나고 a'에서의 기울기는 양수가 나타난다. 기울기가 가장 작은값, 즉 기울기가 0에 수렴하도록 W의 값을 조절해야 가장 최적의 추세선을 그릴 수 있게 된다. 이를 수식으로 나타내면 다음과 같으며 이런 작업을 '경사하강법' 이라고 한다. 딥러닝관점에서 볼때 W를 가중치라고 부르며 가중치의 비중에 따라 신경망이 어떤 데이터에 더 중요도를 줄것인지 조절한다. 위와같은 알고리즘을 통해서 에러를 최소한으로 수렴하도록 최적의 기울기를 찾아내는것이 딥러닝의 목적이다. SGD(Stochastic Gradient Descent) 확률적 경사 하강법 - 오차가 더 이상 ..
