회귀(Regression) 여러개의 독립변수와 한개의 종속변수간의 상관관계를 모델링하는 기법 1. 선형회귀 : 선형조합으로 모델링하는 회귀 기법 1) 단순선형회귀 2) 다중선형회귀 ※여러개의 input데이터를 갖고 어떤 모델이 가장 적합한지 weight를 찾는것이 목적※ 2. 비용함수(Cost Function) - 모든 input에 대해 예측값과 실제값의 차이를 나타낸 함수 → Cost Function을 최소화 하는 것이 목적 - 선형회귀에서의 Cost Function은 MSE(Mean Square Error)를 사용한다. 3. 경사하강법(Gradient Decent Method) - 반복을 통해 미분계수(기울기)가 '0'이 되는 지점을 찾는다. 1) w0, w1에 대해서 임의의 값을 설정한다(initi..
Entropy / Cross-Entropy 엔트로피란 물리에서 '무질서도'를 가리키는 용어이지만 확률, 딥러닝분야에선 정보를 표현하는데 필요한 최소 평균 자원량(bit수)를 의미한다. 엔트로피를 통해서 알 수 있는 정보는 1. 엔트로피는 가장 최적의 방식으로 코딩했을 때 비트수를 나타낸다. 2. 엔트로피보다 더 짧게 코딩할 수 없다. 일반적인 엔트로피 수식은 다음과 같다. 여기서 pk는 '실제확률'를 의미하며 확률이 크면 짧게 코딩하고, 확률이 작으면 길게 코딩하는것이 효율적이라고 한다. 표본 샘플의 확률이 전부 동일하면 엔트로피가 최대값이 나오게된다. 이는 곧 비트수가 최대가 된다는 의미이며 결국 최악의 경우가 된다는 뜻이다. 반면, 샘플의 확률이 각각 달라서 특정 확률에 치우쳐져 있다면 엔트로피는 작..
MNIST (Modified National Institute of Standards and Technology) MNIST란 손으로 쓴 숫자를 기계학습을 통해서 인식하도록 하는 모델이다. MNIST데이터 베이스에 60,000개의 트레이닝 이미지와 10,000개의 테스트 이미지가 있어서 이를 활용하면서 기계학습을 시켜나갈 수 있다. MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges yann.lecun.com 신경망 구성 MNIST데이터셋을 이용한 기계학습은 input layer와..
딥러닝 학습 초기 a지점에서의 x값을 W0라고 하자. 해당 지점에서의 y값은 L이다. 이 때, a의 접선 즉 a의 순간 기울기(dL/dW0)는 음수가 나타나고 a'에서의 기울기는 양수가 나타난다. 기울기가 가장 작은값, 즉 기울기가 0에 수렴하도록 W의 값을 조절해야 가장 최적의 추세선을 그릴 수 있게 된다. 이를 수식으로 나타내면 다음과 같으며 이런 작업을 '경사하강법' 이라고 한다. 딥러닝관점에서 볼때 W를 가중치라고 부르며 가중치의 비중에 따라 신경망이 어떤 데이터에 더 중요도를 줄것인지 조절한다. 위와같은 알고리즘을 통해서 에러를 최소한으로 수렴하도록 최적의 기울기를 찾아내는것이 딥러닝의 목적이다. SGD(Stochastic Gradient Descent) 확률적 경사 하강법 - 오차가 더 이상 ..
딥러닝을 배울때 기본적으로 알고있어야 하는 지식이 상당히 많다. 2학년을 마치고 딥러닝을 배우고 나서야 대학에서 배운 수학이 인공지능에서 어떻게 쓰이는지 알게 되었다. AI를 배우기 위해 선형대수(행렬), 확률과통계, 미적분은 필수로 알고있어야 한다. error == loss == 오차 == 손실 != 오류 딥러닝에서 사용하는 error라는 용어는 우리가 일반적으로 아는 오류 라는 의미가 아닌 오차라는 뜻을 갖는다. 오차는 다른말로 error, loss, 손실이라고도 부른다. 가중치 숫자를 인식하는 신경망을 예로 들어보자. 8이라는 숫자 이미지는 28x28=784개의 픽셀로 구성되어 있다고 가정하자. 그러면 input으로 784개의 데이터를 입력해 주어야 한다. input layer에 784개의 뉴런이 ..
