[CS182] Lecture 5: Backpropagation

• 계산 그래프는 모델의 구조를 쉽게 파악하고, 모델 가중치의 그래디언트를 계산하는 데 유용하다.

• 벡터와 행렬을 사용하여 계산 그래프를 단순화하면 모델의 계산 방식을 더 간결하게 표현할 수 있다.

• 로지스틱 회귀 모델에서 원-핫 벡터를 사용하여 정답 라벨값을 벡터 연산으로 표현하고, 파라미터를 행렬로 표현하여 계산 그래프를 간결하게 만들 수 있다.

• 모델의 계산 그래프를 단순화하기 위해 softmax와 NLL을 하나의 연산으로 합치고, 파라미터와 정답 라벨값을 각각 linear layer와 cross-entropy loss로 치환하여 표현하면, 모델의 구조를 쉽게 파악할 수 있다.