2.神经网络基础

1.神经网络组成部分

1.1 神经网络

（1）神经元

人工神经网络：灵感来自于大脑中的生物神经网络

神经元是一个具有输入和一个输出和参数$w$,$b$的计算单元

$$h_{\mathit{w},b}(\mathit{x})=f({\mathit{w}}^T\mathit{x}+b)$$

（2）单层神经网络

（3）多层神经网络

$$\begin{array}{l}{\mathit{h}}_1=f({\mathit{W}}_1\mathit{x}+{\mathit{b}}_1)\\ {\mathit{h}}_2=f({\mathit{W}}_2{\mathit{h}}_1+{\mathit{b}}_2)\\ {\mathit{h}}_3=f({\mathit{W}}_3{\mathit{h}}_2+{\mathit{b}}_3)\end{array}$$

1.2 激活函数

如果神经网络中只存在线性运算的话，那么多层的神经网络其实可以被转化为单层的神经网络；所以我们使用非线性的激活函数，防止多层的神经网络塌缩成单一的神经网络

（1）Sigmoid

$$f(z)=\frac{1}{1+e^{-z}}$$

（2）Tanh

$$f(z)=\tanh (z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$

（3）ReLU

$$f(z)=max(z,0)$$

1.3 输出层

增加若干个隐层可以提高网络的表达能力，如果想要得到我们想要的输出结果，就需要添加网络的最后一层，即输出层

2.训练方式

2.1 训练目标

（1）均方根误差

$$\underset{\theta }{min}J(\theta )=\underset{\theta }{min}\frac{1}{N}\sum _{i=1}^N{(y_i-F_{\theta }\left(x_i\right))}^2$$

其中，$\theta$是神经网络参数

（2）交叉熵

$$\underset{\theta }{min}J(\theta )=\underset{\theta }{min}-\frac{1}{N}\sum _{i=1}^N\log P_{\mathrm{model}}(F_{\theta }\left(x_i\right)=y_i)$$

其中，$\theta$是神经网络参数

2.2 随机梯度下降

更新规则：

$${\theta }^{\text{new }}={\theta }^{\text{old }}-\alpha {\mathrm{\nabla }}_{\theta }\mathrm{J}(\theta )$$

其中，$\alpha $是学习率

（1）梯度

给定$n$个输入，$m$个输出的函数：

$$\mathrm{F}(\mathit{x})=[F_1(x_1,x_2\dots x_n),F_2(x_1,x_2\dots x_n)\dots F_m(x_1,x_2\dots x_n)]$$

则输出为$m\times n$的雅可比矩阵

$$\frac{\partial \mathrm{F}}{\partial \mathit{x}}=\left[\begin{array}{ccc}\frac{\partial {\mathrm{F}}_1}{\partial x_1}& \cdots & \frac{\partial {\mathrm{F}}_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial {\mathrm{F}}_{\mathrm{m}}}{\partial x_1}& \cdots & \frac{\partial {\mathrm{F}}_{\mathrm{m}}}{\partial x_n}\end{array}\right]$$

其中，${\left(\frac{\partial \mathrm{F}}{\partial x}\right)}_{ij}=\frac{\partial {\mathrm{F}}_{\mathrm{i}}}{\partial x_j}$表示第i个输出对第j个输入求梯度。

（2）链式求导法则

给定$s={\mathit{u}}^T\mathit{h},\mathit{h}=f(\mathit{z}),\mathit{z}=\mathit{W}\mathit{x}+\mathit{b}$，求$\frac{\partial s}{\partial \mathit{b}}$

2.3 反向传播

（1）计算图

计算图：将神经网路的传播以图的形式表示。

• 源节点：输入
• 内部节点：操作
• 边传递操作：结果

$$\begin{array}{c}s={\mathit{u}}^T\mathit{h},\mathit{h}=f(\mathbf{z}),\mathit{z}=\mathit{W}\mathit{x}+\mathit{b},\mathit{x}\text{ input }\end{array}$$

梯度回传：沿着边往回走，沿着梯度传递

（2）单个结点

节点接收到一个“上游梯度”

目标是传递正确的“下游梯度”

每个节点都有一个局部梯度（ local gradient ），输出相对于输入的梯度

$$[downstreamgradient]=[upstreamgradient]\times [localgradient]$$

（3）示例

函数：$\begin{array}{c}f(x,y,z)=(x+y)max(y,z),x=1,y=2,z=0\end{array}$

前向传播：

$$\begin{array}{c}a=x+y=3\\ \mathrm{b}=max(y,z)=2\\ f=ab=6\end{array}$$

本地梯度（Local gradients）：

$$\begin{array}{c}\frac{\partial a}{\partial x}=1,\frac{\partial a}{\partial y}=1\\ \frac{\partial b}{\partial y}=\mathbf{1}(y>z)=1,\frac{\partial b}{\partial z}=\mathbf{1}(z>y)=0\\ \frac{\partial f}{\partial a}=b=2,\frac{\partial f}{\partial b}=a=3\end{array}$$

初始计算图：

回传第一步：

回传第二步（*）：

$$\frac{\partial f}{\partial a}=b=2,\frac{\partial f}{\partial b}=a=3$$

回传第三步（max）：

$$\frac{\partial b}{\partial y}=\mathbf{1}(y>z)=1,\frac{\partial b}{\partial z}=\mathbf{1}(z>y)=0$$

回传第四步（+）：

$$\frac{\partial a}{\partial x}=1,\frac{\partial a}{\partial y}=1$$

计算最终梯度：

3.词表示：Word2Vec

Word2Vec：可以学到一些语义内涵，捕捉到语言学上的一些规律

3.1 Word2Vec

Word2vec使用浅层神经网络将单词与分布式表示相关联

它可以捕获许多语言规则，例如:

Word2vec可以利用两种架构来生成单词的分布式表示：

• Continuous bag-of-words (CBOW)
• Continuous skip-gram

3.2 滑动窗口

Word2vec使用一个固定大小的滑动窗口沿着句子移动

• 在每个窗口中，中间的单词是目标单词，其他单词是上下文单词
• 给定上下文单词，CBOW预测目标单词的概率
• 当给定目标词时，skip-gram预测上下文词的概率

滑动窗口大小为5

3.3 CBOW（Continuous Bag-of-Words）

在CBOW架构中，该模型给出一个周围上下文词的窗口来预测目标词

• 根据词袋假设：上下文词的顺序不影响预测
• 假设窗口大小为5，Never too late to learn

$$P(late\mid [never,too,to,learn])$$

3.4 Continuous Skip-Gram

在skip-gram架构中，该模型从目标词中预测上下文词

假设窗口大小为5，Never too late to learn

$$P([too,late]\mid Never),P([Never,late,to]\mid too),\dots$$

Skip-gram每步预测一个上下文词，训练样本为:

$$\begin{array}{l}P(\text{ too }\mid \text{ Never }),P(\text{ late }\mid \text{ Never }),P(\text{ Never }\mid \text{ too }),P(\text{ late }\mid \text{ too }),P(\text{ to }\mid \text{ too }),\dots \end{array}$$

3.5 Softmax存在问题

当词汇量很大的时候

• Softmax对所有单词的每一步都依赖于大量的模型参数，这在计算上是不切实际的
• 我们需要提高计算效率

事实上，在word2vec中我们并不需要一个完整的概率模型；word2vec主要有两种改进方法:

• 负采样
• 分层softmax

3.6 负采样

当词汇表非常大，这意味着模型每一步都有大量的权重需要更新

负抽样的思想是，每一步只更新一小部分权重

既然有词汇表并且知道上下文单词，可以按概率选择几个不在上下文单词列表中的单词：

$$P\left(w_i\right)=\frac{f{\left(w_i\right)}^{3/4}}{\sum _{j=1}^{V}f{\left(w_j\right)}^{3/4}}$$

其中，$f(w_i)$为$w_i$的频次，$3/4$为经验值

相比于$\frac{f\left(w_i\right)}{\sum _{j=1}^{V}f\left(w_j\right)}$，这可以增加低频词出现的概率。

假设我们只选取4个负采样词：

然后我们可以计算损失，并优化每一步的权重(不是所有的权重)

• 假设有一个大小为300×10,000的权重矩阵，输出大小为5
• 只需要更新300×5权重，这只占所有权重的0.05%

3.7 其他一些细节

（1）Sub-Sampling

罕见的单词可能更有可能携带不同的信息，据此，Sub-Sampling有概率地丢弃单词:

$$1-\sqrt{t/f(w)}$$

其中，$f(w)$为单词频率，$t$是一个可调节的阈值吗

（2）Soft sliding window

滑动窗口应该给较远的单词分配较少的权重

将滑动窗口最大的定义为 $S_{max}$，实际的滑动窗口大小在1和$S_{max}$之间随机选择

因此，那些靠近目标单词的单词更有可能出现在窗口中

4.通用神经网络

4.1 RNN

（1）顺序记忆

RNN的关键概念：处理序列数据时的顺序存储器

定义：一种让大脑更容易识别序列模式的机制

RNN递归地更新序列内存以建模序列数据

（2）RNN

（3）RNN单元

$$\begin{array}{c}{h}_i=\tanh (W_x{x}_i+W_h{h}_{i-1}+b)\\ y_i=F\left(h_i\right)\end{array}$$

（4）RNN语言模型

$W_h$参数是共享的

（5）优缺点

优点：

• 可以处理任何长度的输入
• 模型尺寸不增加较长的输入
• 跨时间步共享权重
• 从许多后退步骤计算步骤

缺点：

• 循环计算速度慢
• 在实践中，很难从许多步骤中获取信息

（6）梯度问题

RNN链比较长，容易出现梯度消失或爆炸

$$h_i=\tanh (W_x{x}_i+W_h{h}_{i-1}+b)$$$$\mathrm{\Delta }{w}_1=\frac{\partial \text{ Loss }}{\partial w_2}=\frac{\partial \text{ Loss }}{\partial h_n}\frac{\partial h_n}{\partial h_{n-1}}\frac{\partial h_{n-1}}{\partial h_{n-2}}\dots \frac{\partial h_3}{\partial h_2}\frac{\partial h_2}{\partial w_2}$$

（7）RNN变种

梯度消失问题的主要解决方案是在递归中使用更复杂的隐单元计算

• GRU
• LSTM

主要思想：保持记忆，捕捉远距离的依赖

4.2 GRU（Gated Recurrent Unit）

Vanilla RNN在下一个时间步直接计算隐藏层：

$$h_i=\tanh (W_x{x}_i+W_h{h}_{i-1}+b)$$

在原始RNN中，增加门控机制，主要用于平衡过去的信息和输入之间的影响。主要有两个门控单元：

更新门（update gate）：$z_i=\sigma (W_x^{(z)}{x}_i+W_h^{(z)}{h}_{i-1}+b^{(z)})$

重置门（reset gate）：$r_i=\sigma (W_x^{(r)}{x}_i+W_h^{(r)}{h}_{i-1}+b^{(r)})$

新的激活输出 ${\tilde{h}}_i$：${\tilde{h}}_i=\tanh (W_x{x}_i+r_i\ast W_h{h}_{i-1}+b)$

最后的隐藏单元输出$h_i$：$h_i=z_i\ast h_{i-1}+(1-z_i)\ast {\tilde{h}}_i$

示例

如果重置门$r_i$ 接近于0

$${\tilde{h}}_i\approx \tanh (W_x{x}_i+0\ast W_h{h}_{i-1}+b)$$$${\tilde{h}}_i\approx \tanh (W_x{x}_i+b)$$

忽略先前的隐藏状态，这表明当前的激活与过去无关。例如，在一篇新文章的开头，过去的信息对于当前的激活是无用的。

更新门$z_i$控制与当前激活相比，过去的状态有多少是重要的。

如果$z_i$接近于1，然后可以通过许多时间步骤复制该单元中的信息!

$$h_i=1\ast h_{i-1}+(1-1)\ast {\tilde{h}}_i=h_{i-1}$$

如果$z_i$接近于0，然后将信息放入该单元并完全取代历史信息

4.3 LSTM（Long Short-Term Memory network）

LSTM是一种特殊的RNN，能够像GRU一样学习长期依赖关系；

（1）状态单元 $C_t$

LSTM的关键是单元状态$C_t$

• 用于捕获长期依赖的额外向量
• 直接贯穿整个链条，只有少量的线性交互作用
• 易于删除或添加信息到细胞状态

（2）遗忘门$f_t$

遗忘门：决定从状态单元中丢弃哪些信息

$$f_t=\sigma (W_f\cdot [h_{t-1},x_t]+b_f)$$

其中，$[h_{t-1},x_t]$为拼接向量

如果$f_t=0$，则直接遗忘过去的信息。

（3）输入门 $i_t$

输入门：决定在单元状态中存储什么信息；

输入门$i_t$和新的候选状态信息 ${\tilde{C}}_t$

$$i_t=\sigma (W_i\cdot [h_{t-1},x_t]+b_i)$$$${\tilde{C}}_t=\tanh (W_C\cdot [h_{t-1},x_t]+b_C)$$

更新就的状态信息 $C_{t-1}$，结合前两步的结果

$$C_t=f_t\ast C_{t-1}+i_t\ast {\tilde{C}}_t$$

（4）输出门$o_t$

输出门：决定输出什么信息

为特定的单词表示调整句子信息

$$o_t=\sigma (W_o[h_{t-1},x_t]+b_o)$$$$h_t=o_t\ast \tanh \left(C_t\right)$$

功能强大，特别是当堆叠和更深层时(每个隐藏层已经由深层内部网络计算)

如果你有大量的数据，非常有用

4.4 双向RNN

在传统的RNN中，当前状态只捕获过去的信息

$$h_t=f(x_{t-1},\dots ,x_2,x_1)$$

问题：在很多应用中，我们希望输出$y_t$依赖于整个输入序列

4.5 CNN

RNN vs CNN