AI Gradient descent 알고리즘

손실함수(Loss function)가 최소값을 갖는 W, b 를 찾기 위한 알고리즘입니다.

 

손실함수 E(W, b) = ( 실제 정답 - 모델의 계산값 ) ^ 2 으로 2차함수 형태를 가집니다.

따라서 아래 그림과 같이 포물선 형태의 그래프를 가집니다.

 

학습률로 표현된 알파값은 경험적으로 선택하는것입니다.

알파 값을 너무 작게 잡으면 학습 속도가 느려지게 되고, 너무 크게 잡으면 아래 그림과 같이 특정 구간을 반복하는 문제가 생길 수 있습니다.

 

참고로 W 라는 것은 가중치를 의미하며 다변수 함수일 경우에는 W1, W2, b 와 같이 여러 개의 W에 대해 최적의 Loss 를 찾아야 할 수 있습니다. 이는 여러 개의 변수 중에서 어떤 요인을 가장 중요하게 생각할 것인지, 혹은 가장 덜 중요하게 생각할 것인지에 대한 가중치를 의미합니다.

 

쉽게 말해서 체중(음식, 운동) 이라는 함수가 있을 때 음식의 가중치가 15, 운동의 가중치가 5 라면 음식을 늘리거나 줄이는 것이 운동을 늘리고 줄이는 것보다 약 3배 정도 체중에 영향을 준다는 것입니다.