吴恩达深度学习课程脉络（五）序列建模

第一周

1.1 Why RNN

　　因为牛逼；

　　在语言识别，音乐生成，情绪分类，DNA序列分析，机器翻译，视频活动识别，实体命名识别等领域有出色表现

1.2 数学符号

　　x一个序列，有x1,x2,..., Tx代表长度，词的one-hot表示法

1.3 RNN

　　标准NN问题：

　　1）不同case的输入，输出长度会变，NN处理不了

　　2）不同位置上，文本的特征不共享（如Harry在x1，x5都代表人名）

　　RNN结构

前向传播

简化

1.4 时间反向传播

　　这里的权重是共享的，针对不同的xi输入，权重都是Wa

1.5 不同类型RNN

多对多，一对多，多对一

1.6 语言模型和序列生成

啥是语言模型？一个句子缺个单词，填哪个好，选P(sentence）大的。语言模型是评估不同句子，及不同备选词出现的概率

怎么训练语言模型？先构建很大的语料库，用大量语言文本，经过tokenize标签化，转化为one-hot向量，（UKN）

RNN按序列一个个xi喂进去，根据cost调整学习；在生成序列时，前面预测出的yi会作为特征来用于接下来的预测

1.7 新序列采样

　　看看训好的RNN到底学到了啥，让它自己生成一个序列，一般a0=0，x1=0

　　介绍一下character-level 语言模型，也可以，但不如基于词的模型捕捉那么长

1.8 RNN的梯度消失

　　梯度爆炸也是一个问题，但最后数据都溢出了，容易发现；可通过梯度裁剪gradient clipping解决

　　因此梯度消失是训练中主要的问题，以长句子的单复数举例，前面的词对后面词的影响大

1.9 GRU

　　GRU - Gated Recurrent Unit 门控循环单元，能更好的捕捉深层的网络连接，解决梯度消失

　　简化版GRU，实际上公式看起来更清楚，

　　　　1） C^t-1 跟当前的Xt任何时候都共同起作用，无论对gate还是更新C的候选值

　　　　2）sigmoid生成控制概率（update gate），tanh生成候选值

　　　　3）update gate来调和 C的前值跟候选值

Full GRU

　　　　1） C^t-1 跟当前的Xt任何时候都共同起作用，无论对gate还是更新C的候选值

　　　　2）sigmoid生成控制概率（update gate），tanh生成候选值； 同时再生成了一个前值C^t-1的 ( forgot gate)权重，在生成候选值时遗忘加权

　　　　3）update gate来调和 C的前值跟候选值

1.10 LSTM-长短期记忆

　　跟GRU比，

　　1）C跟a分开了，可以说是在C的基础上，另外创建了一个a，a为 C经过再次tanh激活值乘以一个output gate

　　2）C的候选值的生成由C^t-1改为了a，且将此处的udpate gate去掉

　　3）C值更新时，update gate直接对C候选值作用

　在LSTM中，C值(memory cell)的update gate设置合理时，比较容易保存很长时间。常用的LSTM中，上图中的3个gate还包括C值，这叫peephole connection窥视孔连接.

　　C值有100维时，每个维度单独影响自己这个维度的更新；

　　LSTM比GRU早提出，更powerful灵活点，效果好点，是更多人的选择，GRU是一种LSTM的简化，简单点，可以构建和适应更大的网络

1.11 双向RNN

　　一个可以使RNN更加powerful的idea是构建双向，以He said, Teddy **为例说明后面词对前面也有影响

缺点是需要完整的序列才好预测，如语言识别时，需要整段语言读进去才后才能识别，实践的识别过程中算法需要加入其它的处理模块

1.12 Deep RNN 深度循环网络

第二周 NLP及词嵌入

2.1 词表示

　　介绍one-hot representation，但这种方法没法进行相识度计算，采用特征化表示：word embedding可以

　　例子中特征有Gender，Royal，Age，Food，Size等，实践中的特征是很难解释。

　　可以用t-SNE降维到3维进行可视化，降维过程叫embedding

2.2 词嵌入

　　主要介绍词嵌入如何应用到NLP问题中，第3步微调建议只在本身自己的数据集较大的情况下做，在小数据集的时候，word embedding效果比较明显，例如实体命名识别named entity recognition，文本摘要text summarization，文本解析 co-reference resolution，指代消解for parsing, language module跟机器翻译 machine translation用得少，这些模型有大量的数据。