RNN及其变体
RNN模型定义
循环神经网络:一般接受的一序列进行输入,输出也是一个序列
作用和应用场景:
RNN擅长处理连续语言文本,机器翻译,文本生成,文本分类,摘要生成
RNN模型的分类
根据输入与输出结构
N Vs N : 输入和输出等长,应用场景:对联生成;词性标注;NER
N Vs 1 : 输入N,输出为单值,应用场景:文本分类
1 Vs N : 输出是一个,输出为N,应用场景: 图片文本生成
N Vs M : 输入和输出不等长,应用场景: 文本翻译,摘要总结
根据RNN内部结构
传统RNN
LSTM
BI-LSTM
GRU
BI-GRU
传统RNN模型
内部结构
输入:当前时间步xt和上一时间步输出的ht - 1
输出:ht和ot(一个时间步内: ht = ot)
LSTM模型
内部结构
遗忘门
输入门
细胞状态
输出门
BI-LSTM模型
BI_LSTM定义:
不改变原始的lSTM模型内部结构,只是将文本从左到右计算一遍,再从右到左计算一遍,把最终的输出结果拼接得到模型的完整输出
LSTM模型
内部结构
遗忘门
输入门
细胞状态
输出门
BI-LSTM模型
BI_LSTM定义:
不改变原始的lSTM模型内部结构,只是将文本从左到右计算一遍,再从右到左计算一遍,把最终的输出结果拼接得到模型的完整输出