[Chapter 9(*)] 反向传播公式推导

李宏毅的课程 youtube

1. calculus - Chain Rule

微积分 - 链式法则

2. 代价函数

C = (预测值a1 - 训练值y1) + (预测值a2 - 训练值y2) + ....

如果想代价函数最小的话, 需要导数为最小

导数最小, 那么决定因素就是 $weights = \theta$ 权重

如何平衡权重的大小?

3. 单个结构 例子

• 特征值: x1, x2 (x0 = 1)
• bias: 专属x0的 特殊weight
• weights: 权重
• z: 如何得来, 公式需要知道哦
• activiation: 简称a, a = g(z)
• g: sigmoid function

3.1 z和w, 求导关系 $dz / dw_1 = x_1$

$z = x_1w_1 + x_2w_2 + b$ $dz / dw_1 = x_1$ $dz / dw_2 = x_2$

关系: dz / dw1 = 上一层 x1 (输出值 a1)

3.2 a和w (神经元输出和某权重) 求导关系 $da / dw_1 = (g)' x_1$

$dz / dw_1 = x_1$ a和z的关系: $a = g(z)$

下面图说明的是: $da / dw_1 = (g)' x_1$

4. 多层结构关系

• 比#3例子 - 多了后面a2, a3的结构
• 代价函数 C
• $dC / dz_1$ ?????

从后往前推导(向后传播的关系)

(C对 神经元1 的偏导 * 连线的权重1) + (C对 神经元2 的偏导 * 连线的权重2) * (sigmoid)‘

图片看着清晰些

4. 总结

$dC/dw = dC / dz * dz / dw$ $dz / dw = a$ (神经元激活值)

$dC/dw = dC / dz * a$