- 경사하강법: 목적함수의 기울기(경사)를 구하고 경사의 절댓값이 낮은 쪽으로 계속 이동시켜 최저점 이를 때까지 반복시키는 것이다.
- 머신러닝에서 경사하강법을 쓰는 이유
- 딥러닝 등에서의 함수들은 닫혀(Closed-form)있거나 형태가 매우 복잡(비션형함수 등)하여 미분계수를 계산하기 어려운 경우가 많음
- 미분계수를 게산 과정을 컴퓨터로 구현하는 것보다, 경사하강법을 구현하는 것이 훨씬 쉬움
- 데이터 양이 매우 큰 경우, 경사하강법과 같은 순차적인 방법이 계산량 측면에서 매우 효율적
