loss back-propagating

https://m.blog.naver.com/PostView.nhn?isHttpsRedirect=true&blogId=laonple&logNo=220507299181 

weight나 bias 값을 아주 작게 변화시키면(=편미분시키면) output의 변화 역시 매우 작은 변화가 생김

= 작은 변화의 관점에서는 선형적인 관계가 있음

output에서 생긴 오차를 반대로 input 쪽으로 전파시키면서 w와 b 등을 갱신하면 됨

cost function은 결국 w와 b로 이루어진 함수기 때문에 output에서 input 방향으로 cost function에 대한 편미분을 구하고 얻은 값을 이용해 w와 b의 값을 갱신

모든 train data에 대해 이 작업을 수행하다보면 훈련 데이터에 최적화된 w와 b 값을 얻을 수 있음