https://m.blog.naver.com/PostView.nhn?isHttpsRedirect=true&blogId=laonple&logNo=220507299181
weight나 bias 값을 아주 작게 변화시키면(=편미분시키면) output의 변화 역시 매우 작은 변화가 생김
= 작은 변화의 관점에서는 선형적인 관계가 있음
output에서 생긴 오차를 반대로 input 쪽으로 전파시키면서 w와 b 등을 갱신하면 됨
cost function은 결국 w와 b로 이루어진 함수기 때문에 output에서 input 방향으로 cost function에 대한 편미분을 구하고 얻은 값을 이용해 w와 b의 값을 갱신
모든 train data에 대해 이 작업을 수행하다보면 훈련 데이터에 최적화된 w와 b 값을 얻을 수 있음
'Deep Learning' 카테고리의 다른 글
| momentum update (0) | 2022.08.30 |
|---|---|
| Dive into BYOL (0) | 2022.08.25 |
| cv2 (0) | 2022.08.19 |
| lambda(), sort()에서 key와 lambda 사용하기 (0) | 2022.08.18 |
| os와 glob (0) | 2022.08.18 |