BP神经网络的数学模型

红十字国际委员会B傻瓜相机推荐P是比较经典的反向传播回馈的神经网络，可以说它是很多复杂神经网络的基础。林彪电影例如卷积神经网络CNN也是基于BP发展而来(多了卷积层，池化层等)。这里我们只讨论简单的只有一个隐藏层的BP。如图所示:

整个网络分为输入层，隐藏层，输出层，每层的每个神经元与上一层或下一层的神经元两两连企业文化管理接(每层全连接)，是不是跟现实中的有点像。

很容易根据上图可以建立一个非常简单的模型，即每个

\begin{align} \notag z_i^l = f(w_{1i}^{l}x_1^{l-1}+w_{2i}^{l}x_2^{l-1}+..+w_{ni}^{l}x_n^{诸葛梓岐l-1}+b_i^{l}) \notag \\ = \sum_{j=1}^n w_{ji}^{l}x_{j}^{l-1}+b_i^{l} \notag \end{align}

这个公式可以理解为 l 层神经元 i 的激活值 z_i^l 等于上一层与之相连的每个神经元 x_n^{l-1} 乘以一个权重 w_{ni}^香港电话号码{l} ，然后每个乘积相加，再加上一个偏置量 b_i^{l} ,得到的值在l层经过一个函数 f 输出。

那么这个 f 函数究竟是什么函数呢?和logistic回归一样跨界歌手，同样是简单的sigmod函数。

f(x)澳门理工大学=\frac{1}{1+e^{-x}}

sigmo橡胶脱模剂d函数是个S型曲线。

这里我们进一步得到具体的模型:

z_i^l = \frac{1} {1+e^{ -(\sum_{j=1}^n w_{ji}^{l}x_{j}^{l-1}+b_i^{l}) }}

假设: K : 训练结果k维(有k类冰岛女总理)

O_p : 神经网络的模型输出结果

T_p : 训练数据的标签

O_j^l : 第l层第j个神经元输出

W_{ij}^{l} : 第l-1层第i个神经元与l层第j个神经元的连接权值

S(x) : sigmod函数 \frac{1}{1+e^{-x}}

b_j^l : 第l层第j个节点的偏置

t_j : 输出层的第j个节点的输出值

输出层权值计算

假设: W_{jk} : 输出层第k个节点与隐藏层第j个节点的权值

设损失函数:

J(x) = \frac{1}{2}\杜少中sum_{p\in K}(O_p-T_p)^2 香港旅游攻略

我们的目的就是训练得到各层 W,b 的值，让损失函数 J(x) 最小。

例如对输出层 W_{jk} 求偏导:

\begin{align} \notag \frac{\partial J(x)}{W_{jk}} = \frac {\partial \frac{1}{2}\sum_{p \in K}(O_p-T_p)^2}{\partial W_{jk}} 心理健康测试\notag \\ = \sum_{p\in K} (O_k-T_k)\frac{\partial O_k}{W_{jk}} \notag \\ = \sum_{p\in K} (O_k-T_k)\frac{\partial S(x_k)}{W_{jk}} \notag \\ = \sum俄罗斯美术学院_{p\in K} 绿帽大作战(O_k-T_k)S(x_k)(1-S(x_k)) \frac{\partial x_k}{W_{jk}} \notag \\ = \sum_{p\in K} (O_k-T_k)O(x_k)(1-O(x_k)) \frac{\partial x_k}{W_{jk}} \nota路雷g \end{align}

上式中 O_k=S(x_k) ,

\frac{\partial S(x_k)}{\partial x_k}=S(x_k)(1-S(x_K))

且 x_k=O_jW_{jk} ，所月份的英语单词以:

\frac{\partial x_k}{\partial W_{jk}} = O_j

最终得到

\frac{\partial J(x)}{W_{jk}} = \sum_{p\in K} (O_k-T_k)O(x_k)(1-O(x_k))O_j

令 \delta_k=(O_k-T_k)O(x_k)(1-O(x_k)) ，则

\frac{\partial J(x)}{W_{jk}} = \sum_{p\in K} \delta_k O_j

其实这里的 \delta_k 就是传说中的残差，那么可以理解为 l 层第 k 个节点和第 l-1 层第 j 个节点对应的 W_{jk}^l 的偏导数等于该层的残差开窗函数 \delta_k^l 乘以上一层第 j 个节点对应的输入值 O_j 。

未完待续…

和输出层类似，根据输出结果对隐藏层 W_{ij}

求导。

\begin{align} \notag \frac{\partial J(x)}{W_{ij}} &= \frac {\淑女装品牌partia贾森特里l \frac{1}{2}\sum_{p \in K}(O_p-T_p)^2}{\partial W_{ij}} \end{align}