Gradient descent algorithm

Regression과 관련한 내용을 살펴보면 눈에 띄는 부분이다. 

Sung Kim님의 강의를 듣다보니.. 

1) hypothesis

2) Cost Function 

3) Gradient descent algorithm 

위의 3가지를 강조 하시지만, 3)번에 대한 내용을 다시 뜯어보기로 했다 

( 정확히 이야기하지만 잘 설명해주셨지만.. 휘발성 기억력이라;; )

원문대로 찾아보면 저 내용은 경사하강법으로 알 수 있다.

( https://ko.wikipedia.org/wiki/%EA%B2%BD%EC%82%AC_%ED%95%98%EA%B0%95%EB%B2%95 ) 

이름 그대로 기울기를 낮은 쪽으로 이동 시켜서 최적의 값을 찾는 알고리즘이다. 

1차/다중 선형 회귀분석 등 다양하게 사용할 수 있는 기본적인 개념이라 할 수 있다. 

그림을 보면 더욱 쉽게 확인할 수 있다. 

사진대로 초기 Weight에서 경사를 줄여가는 방식으로 최적의 미분값을 탐색해 가는 과정으로 확인할 수 있다. 

용어와 원리에 대해 조금씩 더 친근해 질 필요가 있다.