본문으로 바로가기

[DeepLearning] 경사하강법

category 인공지능/DeepLearning 2021. 3. 2. 19:42
728x90
반응형

경사 하강법은 머신러닝/딥러닝 알고리즘을 학습시킬 때 사용하는 방법입니다.

기계 학습의 대부분은 학습하는 과정에서 최적의 값을 찾아내야됩니다.

신경망 또한 동일합니다.

여기서 말하는 최적의 값은 손실 함수가 최소값이 될 때의 값입니다.

그러나 어디가 최소값이 되는지 알기는 어렵습니다.

이 문제를 해결하기 위해 등장한 것이 경사 하강법입니다.

여기서 중요한 것은 함수의 값을 낮추는 지표는 기울기입니다.

보통 손실이 최소값이 되는 곳의 기울기는 0이 됩니다.

경사 하강법은 현재 위치에서 기울어진 방향으로 일정 거리만큼 이동합니다.

거기서 기울기를 구하고, 또 그 방향으로 일정 거리만큼 이동하고 기울기를 구합니다.

위의 과정을 계속 반복하여 기울기를 줄이는 것입니다.

개념적으로는 쉬워보이지만 이것을 구현하는 생각보다 쉽지 않습니다.

이상입니다.

728x90
반응형