https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=lego7407&logNo=221681014509
SGD + 관성을 더해준 방식
parameter 값을 조정할 때 전체 data가 아닌 랜덤으로 선택한 1개의 data에 대해서만 계산하는 방법인 SGD
최솟값까지 지그재그로 이동해서 비효율적 -> momentum 이용해 보충 (관성을 더해줌)
SGD에서 계산된 접선의 기울기에 한 step 전의 접선의 기울기값을 일정 비율만큼 반영
local minimum에서 탈출하는 효과를 얻을 수 있음
'Deep Learning' 카테고리의 다른 글
| loss back-propagating (0) | 2022.08.30 |
|---|---|
| Dive into BYOL (0) | 2022.08.25 |
| cv2 (0) | 2022.08.19 |
| lambda(), sort()에서 key와 lambda 사용하기 (0) | 2022.08.18 |
| os와 glob (0) | 2022.08.18 |