[cs231n] 4. Introduction to Neural Networks

전체 함수에 각 변수들이 미치는 영향 $\cfrac{\partial f}{\partial x}$ 를 구하기 위해서 함수를 구성하는 연산들을 쪼갠 Computational Graph를 계산하고, 각각의 연산마다 Local Gradient를 구해 Chain-Rule을 이용해 Gradient를 계산하는 기법.

Computational Graph의 각 Node는 정의하기 나름. 예를 들어 Sigmoid함수 자체를 Node로 정의하면, Sigmoid 함수의 미분을 이용해 계산할 수 있다.

각 변수가 벡터인 경우 각 게이트의 Gradient는 Jacobian Matrix로 표현된다.

$N$차원 벡터가 입력이면 Jacobian Matrix는 $N^2$차원이 된다. 하지만 그렇게 계산하면 너무 많은 연산량이 필요하다.

하지만, Backpropagation에서 하나의 변수는 오직 하나의 출력에만 영향을 미치므로 Jacobian Matrix는 Diagonal Matrix가 된다.

다변수 벡터 함수의 1계도 편미분

비선형의 복잡한 함수를 만들기 위해 간단한 함수들을 쌓아올린 함수들의 Class