차밍이

텐서플로우 기초 실습하기 #2 목차 경사 하강법 경사 하강법(傾斜下降法, Gradient descent)은 1차 근삿값 발견용 최적화 알고리즘이다. 기본 개념은 함수의 기울기(경사)를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서 극값에 이를 때까지 반복시키는 것이다. [1] (출처 위키백과) 함수에서 주변부의 기울기가 가장 낮은 쪽으로 이동하는 방법입니다. 가장 경사가 급하게 감소하는 방향으로 움직인다고 생각하시면 됩니다. (주의할 점은 가장 낮은 값인 이유는 양의 값의 경우는 기울기가 커지는 값입니다.) 경사도, 기울기를 구하기 위해서는 미분이 필요합니다. 경사 하강법은 cost function(비용 함수)를 MSE 방식을 사용합니다. 아래와 같은 방식으로 표현하는 경우가 많습니다. 경사 하강법 수식 ..