读书笔记摘抄新闻资讯
深度学习之tenforflow入门、原理与进阶实战
本书採用“理论+实践”的形式编写，通过大量的实例（共96个），全面而深入地讲解了深度学习神经网路原理和TensorFlow使用方法两方面的内容。书中的实例具有很强的实用性，如对图片分类、製作一个简单的聊天机器人、进行图像识别等。书中每章都配有一段教学视频，视频和图书的重点内容对应，能帮助读者快速地掌握该章的重点内容。
基本介绍
- 书名：深度学习之tensorflow入门、原理与进阶实战
- 作者：李金洪
- ISBN：978-7-111-59005-7
- 页数：487
- 定价：99
- 出版社：机械工业出版社
- 出版时间：2018-3
- 装帧：平装
- 开本：16开
书籍介绍
内容简介
本书共12章，分为3篇。第1篇深度学习与TensorFlow基础，包括快速了解人工智慧与TensorFlow、搭建开发环境、TensorFlow基本开发步骤、TensorFlow编程基础、识别图中模糊的手写数字等内容；第2篇深度学习基础——神经网路，介绍了神经网路的基础模型，包括单个神经元、多层神经网路、卷积神经网路、循环神经网路、自编码网路等内容；第3篇深度学习进阶，是对基础网路模型的灵活运用与自由组合，是对前面知识的综合及拔高，包括深度神经网路和对抗神经网路两章内容。
30秒极速了解本书精华内容
1. 深度学习与TensorFlow基础
快速了解人工智慧与TensorFlow
搭建开发环境
TensorFlow基本开发步骤——以逻辑回归拟合二维数据为例
TensorFlow编程基础
识别图中模糊的手写数字（实例21）
2. 深度学习基础——神经网路
单个神经元
多层神经网路——解决非线性问题
卷积神经网路——解决参数太多问题
循环神经网路——具有记忆功能的网路
自编码网路——能够自学习样本特徵的网路
3. 深度学习进阶
深度神经网路
对抗神经网路（GAN）
作者介绍
李金洪，长期拼搏在一线的高级软体工程师。先后担任过CAD算法工程师、手机游戏主程、架构师、项目经理、CTO、部门经理、资深产品总监和CEO等职务。现任代码医生工作室主程式设计师。精通C、C++、彙编、Python、Java和Go等程式语言；擅长神经网路、算法、协定分析、逆向和移动网际网路安全架构等技术。在深度学习领域中参与过某移动网际网路后台的OCR项目、某娱乐节目机器人的语音识别和声纹识别项目，以及活体检测、金融和安全等领域的多个AI项目。发布过两套关于CNTK深度学习框架的视频教程。
目录
配套学习资源
前言
第1篇 深度学习与TensorFlow基础
第1章 快速了解人工智慧与TensorFlow2
1.1 什幺是深度学习2
1.2 TensorFlow是做什幺的3
1.3 TensorFlow的特点4
1.4 其他深度学习框架特点及介绍5
1.5 如何通过本书学好深度学习6
1.5.1 深度学习怎幺学6
1.5.2 如何学习本书7
第2章 搭建开发环境8
2.1 下载及安装Anaconda开发工具8
2.2 在Windows平台下载及安装TensorFlow11
2.3 GPU版本的安装方法12
2.3.1 安装CUDA软体包12
2.3.2 安装cuDNN库13
2.3.3 测试显示卡14
2.4 熟悉Anaconda 3开发工具15
2.4.1 快速了解Spyder16
2.4.2 快速了解Jupyter Notebook18
第3章 TensorFlow基本开发步骤——以逻辑回归拟合二维数据为例19
3.1 实例1：从一组看似混乱的数据中找出y≈2x的规律19
3.1.1 準备数据20
3.1.2 搭建模型21
3.1.3 叠代训练模型23
3.1.4 使用模型25
3.2 模型是如何训练出来的25
3.2.1 模型里的内容及意义25
3.2.2 模型内部的数据流向26
3.3 了解TensorFlow开发的基本步骤27
3.3.1 定义输入节点的方法27
3.3.2 实例2：通过字典类型定义输入节点28
3.3.3 实例3：直接定义输入节点28
3.3.4 定义“学习参数”的变数29
3.3.5 实例4：通过字典类型定义“学习参数”29
3.3.6 定义“运算”29
3.3.7 最佳化函式，最佳化目标30
3.3.8 初始化所有变数30
3.3.9 叠代更新参数到最优解31
3.3.10 测试模型31
3.3.11 使用模型31
第4章 TensorFlow编程基础32
4.1 编程模型32
4.1.1 了解模型的运行机制33
4.1.2 实例5：编写hello world程式演示session的使用34
4.1.3 实例6：演示with session的使用35
4.1.4 实例7：演示注入机制35
4.1.5 建立session的其他方法36
4.1.6 实例8：使用注入机制获取节点36
4.1.7 指定GPU运算37
4.1.8 设定GPU使用资源37
4.1.9 保存和载入模型的方法介绍38
4.1.10 实例9：保存/载入线性回归模型38
4.1.11 实例10：分析模型内容，演示模型的其他保存方法40
4.1.12 检查点（Checkpoint）41
4.1.13 实例11：为模型添加保存检查点41
4.1.14 实例12：更简便地保存检查点44
4.1.15 模型操作常用函式总结45
4.1.16 TensorBoard可视化介绍45
4.1.17 实例13：线性回归的TensorBoard可视化46
4.2 TensorFlow基础类型定义及操作函式介绍48
4.2.1 张量及操作49
4.2.2 算术运算函式55
4.2.3 矩阵相关的运算56
4.2.4 複数操作函式58
4.2.5 规约计算59
4.2.6 分割60
4.2.7 序列比较与索引提取61
4.2.8 错误类62
4.3 共享变数62
4.3.1 共享变数用途62
4.3.2 使用get-variable获取变数63
4.3.3 实例14：演示get_variable和Variable的区别63
4.3.4 实例15：在特定的作用域下获取变数65
4.3.5 实例16：共享变数功能的实现66
4.3.6 实例17：初始化共享变数的作用域67
4.3.7 实例18：演示作用域与操作符的受限範围68
4.4 实例19：图的基本操作70
4.4.1 建立图70
4.4.2 获取张量71
4.4.3 获取节点操作72
4.4.4 获取元素列表73
4.4.5 获取对象73
4.4.6 练习题74
4.5 配置分散式TensorFlow74
4.5.1 分散式TensorFlow的角色及原理74
4.5.2 分布部署TensorFlow的具体方法75
4.5.3 实例20：使用TensorFlow实现分散式部署训练75
4.6 动态图（Eager）81
4.7 数据集（tf.data）82
第5章 识别图中模糊的手写数字（实例21）83
5.1 导入图片数据集84
5.1.1 MNIST数据集介绍84
5.1.2 下载并安装MNIST数据集85
5.2 分析图片的特点，定义变数87
5.3 构建模型87
5.3.1 定义学习参数87
5.3.2 定义输出节点88
5.3.3 定义反向传播的结构88
5.4 训练模型并输出中间状态参数89
5.5 测试模型90
5.6 保存模型91
5.7 读取模型92
第2篇 深度学习基础——神经网路
第6章 单个神经元96
6.1 神经元的拟合原理96
6.1.1 正向传播98
6.1.2 反向传播98
6.2 激活函式——加入非线性因素，解决线性模型缺陷99
6.2.1 Sigmoid函式99
6.2.2 Tanh函式100
6.2.3 ReLU函式101
6.2.4 Swish函式103
6.2.5 激活函式总结103
6.3 softmax算法——处理分类问题103
6.3.1 什幺是softmax104
6.3.2 softmax原理104
6.3.3 常用的分类函式105
6.4 损失函式——用真实值与预测值的距离来指导模型的收敛方向105
6.4.1 损失函式介绍105
6.4.2 TensorFlow中常见的loss函式106
6.5 softmax算法与损失函式的综合套用108
6.5.1 实例22：交叉熵实验108
6.5.2 实例23：one_hot实验109
6.5.3 实例24：sparse交叉熵的使用110
6.5.4 实例25：计算loss值110
6.5.5 练习题111
6.6 梯度下降——让模型逼近最小偏差111
6.6.1 梯度下降的作用及分类111
6.6.2 TensorFlow中的梯度下降函式112
6.6.3 退化学习率——在训练的速度与精度之间找到平衡113
6.6.4 实例26：退化学习率的用法举例114
6.7 初始化学习参数115
6.8 单个神经元的扩展——Maxout网路116
6.8.1 Maxout介绍116
6.8.2 实例27：用Maxout网路实现MNIST分类117
6.9 练习题118
第7章 多层神经网路——解决非线性问题119
7.1 线性问题与非线性问题119
7.1.1 实例28：用线性单分逻辑回归分析肿瘤是良性还是恶性的119
7.1.2 实例29：用线性逻辑回归处理多分类问题123
7.1.3 认识非线性问题129
7.2 使用隐藏层解决非线性问题130
7.2.1 实例30：使用带隐藏层的神经网路拟合异或操作130
7.2.2 非线性网路的可视化及其意义133
7.2.3 练习题135
7.3 实例31：利用全连线网路将图片进行分类136
7.4 全连线网路训练中的最佳化技巧137
7.4.1 实例32：利用异或数据集演示过拟合问题138
7.4.2 正则化143
7.4.3 实例33：通过正则化改善过拟合情况144
7.4.4 实例34：通过增大数据集改善过拟合145
7.4.5 练习题146
7.4.6 dropout——训练过程中，将部分神经单元暂时丢弃146
7.4.7 实例35：为异或数据集模型添加dropout147
7.4.8 实例36：基于退化学习率dropout技术来拟合异或数据集149
7.4.9 全连线网路的深浅关係150
7.5 练习题150
第8章 卷积神经网路——解决参数太多问题151
8.1 全连线网路的局限性151
8.2 理解卷积神经网路152
8.3 网路结构153
8.3.1 网路结构描述153
8.3.2 卷积操作155
8.3.3 池化层157
8.4 卷积神经网路的相关函式158
8.4.1 卷积函式tf.nn.conv2d158
8.4.2 padding规则介绍159
8.4.3 实例37：卷积函式的使用160
8.4.4 实例38：使用卷积提取图片的轮廓165
8.4.5 池化函式tf.nn.max_pool（avg_pool）167
8.4.6 实例39：池化函式的使用167
8.5 使用卷积神经网路对图片分类170
8.5.1 CIFAR介绍171
8.5.2 下载CIFAR数据172
8.5.3 实例40：导入并显示CIFAR数据集173
8.5.4 实例41：显示CIFAR数据集的原始图片174
8.5.5 cifar10_input的其他功能176
8.5.6 在TensorFlow中使用queue176
8.5.7 实例42：协调器的用法演示178
8.5.8 实例43：为session中的伫列加上协调器179
8.5.9 实例44：建立一个带有全局平均池化层的卷积神经网路180
8.5.10 练习题183
8.6 反卷积神经网路183
8.6.1 反卷积神经网路的套用场景184
8.6.2 反卷积原理184
8.6.3 实例45：演示反卷积的操作185
8.6.4 反池化原理188
8.6.5 实例46：演示反池化的操作189
8.6.6 实例47：演示gradients基本用法192
8.6.7 实例48：使用gradients对多个式子求多变数偏导192
8.6.8 实例49：演示梯度停止的实现193
8.7 实例50：用反卷积技术复原卷积网路各层图像195
8.8 善用函式封装库198
8.8.1 实例51：使用函式封装库重写CIFAR卷积网路198
8.8.2 练习题201
8.9 深度学习的模型训练技巧201
8.9.1 实例52：最佳化卷积核技术的演示201
8.9.2 实例53：多通道卷积技术的演示202
8.9.3 批量归一化204
8.9.4 实例54：为CIFAR图片分类模型添加BN207
8.9.5 练习题209
第9章 循环神经网路——具有记忆功能的网路210
9.1 了解RNN的工作原理210
9.1.1 了解人的记忆原理210
9.1.2 RNN网路的套用领域212
9.1.3 正向传播过程212
9.1.4 随时间反向传播213
9.2 简单RNN215
9.2.1 实例55：简单循环神经网路实现——裸写一个退位减法器215
9.2.2 实例56：使用RNN网路拟合回声信号序列220
9.3 循环神经网路（RNN）的改进225
9.3.1 LSTM网路介绍225
9.3.2 窥视孔连线（Peephole）228
9.3.3 带有映射输出的STMP230
9.3.4 基于梯度剪辑的cell230
9.3.5 GRU网路介绍230
9.3.6 Bi-RNN网路介绍231
9.3.7 基于神经网路的时序类分类CTC232
9.4 TensorFlow实战RNN233
9.4.1 TensorFlow中的cell类233
9.4.2 通过cell类构建RNN234
9.4.3 实例57：构建单层LSTM网路对MNIST数据集分类239
9.4.4 实例58：构建单层GRU网路对MNIST数据集分类240
9.4.5 实例59：创建动态单层RNN网路对MNIST数据集分类240
9.4.6 实例60：静态多层LSTM对MNIST数据集分类241
9.4.7 实例61：静态多层RNN-LSTM连线GRU对MNIST数据集分类242
9.4.8 实例62：动态多层RNN对MNIST数据集分类242
9.4.9 练习题243
9.4.10 实例63：构建单层动态双向RNN对MNIST数据集分类243
9.4.11 实例64：构建单层静态双向RNN对MNIST数据集分类244
9.4.12 实例65：构建多层双向RNN对MNIST数据集分类246
9.4.13 实例66：构建动态多层双向RNN对MNIST数据集分类247
9.4.14 初始化RNN247
9.4.15 最佳化RNN248
9.4.16 实例67：在GRUCell中实现LN249
9.4.17 CTC网路的loss——ctc_loss251
9.4.18 CTCdecoder254
9.5 实例68：利用BiRNN实现语音识别255
9.5.1 语音识别背景255
9.5.2 获取并整理样本256
9.5.3 训练模型265
9.5.4 练习题272
9.6 实例69：利用RNN训练语言模型273
9.6.1 準备样本273
9.6.2 构建模型275
9.7 语言模型的系统学习279
9.7.1 统计语言模型279
9.7.2 词向量279
9.7.3 word2vec281
9.7.4 实例70：用CBOW模型训练自己的word2vec283
9.7.5 实例71：使用指定侯选採样本训练word2vec293
9.7.6 练习题296
9.8 处理
前言
第1篇 深度学习与TensorFlow基础
第1章 快速了解人工智慧与TensorFlow2
1.1 什幺是深度学习2
1.2 TensorFlow是做什幺的3
1.3 TensorFlow的特点4
1.4 其他深度学习框架特点及介绍5
1.5 如何通过本书学好深度学习6
1.5.1 深度学习怎幺学6
1.5.2 如何学习本书7
第2章 搭建开发环境8
2.1 下载及安装Anaconda开发工具8
2.2 在Windows平台下载及安装TensorFlow11
2.3 GPU版本的安装方法12
2.3.1 安装CUDA软体包12
2.3.2 安装cuDNN库13
2.3.3 测试显示卡14
2.4 熟悉Anaconda 3开发工具15
2.4.1 快速了解Spyder16
2.4.2 快速了解Jupyter Notebook18
第3章 TensorFlow基本开发步骤——以逻辑回归拟合二维数据为例19
3.1 实例1：从一组看似混乱的数据中找出y≈2x的规律19
3.1.1 準备数据20
3.1.2 搭建模型21
3.1.3 叠代训练模型23
3.1.4 使用模型25
3.2 模型是如何训练出来的25
3.2.1 模型里的内容及意义25
3.2.2 模型内部的数据流向26
3.3 了解TensorFlow开发的基本步骤27
3.3.1 定义输入节点的方法27
3.3.2 实例2：通过字典类型定义输入节点28
3.3.3 实例3：直接定义输入节点28
3.3.4 定义“学习参数”的变数29
3.3.5 实例4：通过字典类型定义“学习参数”29
3.3.6 定义“运算”29
3.3.7 最佳化函式，最佳化目标30
3.3.8 初始化所有变数30
3.3.9 叠代更新参数到最优解31
3.3.10 测试模型31
3.3.11 使用模型31
第4章 TensorFlow编程基础32
4.1 编程模型32
4.1.1 了解模型的运行机制33
4.1.2 实例5：编写hello world程式演示session的使用34
4.1.3 实例6：演示with session的使用35
4.1.4 实例7：演示注入机制35
4.1.5 建立session的其他方法36
4.1.6 实例8：使用注入机制获取节点36
4.1.7 指定GPU运算37
4.1.8 设定GPU使用资源37
4.1.9 保存和载入模型的方法介绍38
4.1.10 实例9：保存/载入线性回归模型38
4.1.11 实例10：分析模型内容，演示模型的其他保存方法40
4.1.12 检查点（Checkpoint）41
4.1.13 实例11：为模型添加保存检查点41
4.1.14 实例12：更简便地保存检查点44
4.1.15 模型操作常用函式总结45
4.1.16 TensorBoard可视化介绍45
4.1.17 实例13：线性回归的TensorBoard可视化46
4.2 TensorFlow基础类型定义及操作函式介绍48
4.2.1 张量及操作49
4.2.2 算术运算函式55
4.2.3 矩阵相关的运算56
4.2.4 複数操作函式58
4.2.5 规约计算59
4.2.6 分割60
4.2.7 序列比较与索引提取61
4.2.8 错误类62
4.3 共享变数62
4.3.1 共享变数用途62
4.3.2 使用get-variable获取变数63
4.3.3 实例14：演示get_variable和Variable的区别63
4.3.4 实例15：在特定的作用域下获取变数65
4.3.5 实例16：共享变数功能的实现66
4.3.6 实例17：初始化共享变数的作用域67
4.3.7 实例18：演示作用域与操作符的受限範围68
4.4 实例19：图的基本操作70
4.4.1 建立图70
4.4.2 获取张量71
4.4.3 获取节点操作72
4.4.4 获取元素列表73
4.4.5 获取对象73
4.4.6 练习题74
4.5 配置分散式TensorFlow74
4.5.1 分散式TensorFlow的角色及原理74
4.5.2 分布部署TensorFlow的具体方法75
4.5.3 实例20：使用TensorFlow实现分散式部署训练75
4.6 动态图（Eager）81
4.7 数据集（tf.data）82
第5章 识别图中模糊的手写数字（实例21）83
5.1 导入图片数据集84
5.1.1 MNIST数据集介绍84
5.1.2 下载并安装MNIST数据集85
5.2 分析图片的特点，定义变数87
5.3 构建模型87
5.3.1 定义学习参数87
5.3.2 定义输出节点88
5.3.3 定义反向传播的结构88
5.4 训练模型并输出中间状态参数89
5.5 测试模型90
5.6 保存模型91
5.7 读取模型92
第2篇 深度学习基础——神经网路
第6章 单个神经元96
6.1 神经元的拟合原理96
6.1.1 正向传播98
6.1.2 反向传播98
6.2 激活函式——加入非线性因素，解决线性模型缺陷99
6.2.1 Sigmoid函式99
6.2.2 Tanh函式100
6.2.3 ReLU函式101
6.2.4 Swish函式103
6.2.5 激活函式总结103
6.3 softmax算法——处理分类问题103
6.3.1 什幺是softmax104
6.3.2 softmax原理104
6.3.3 常用的分类函式105
6.4 损失函式——用真实值与预测值的距离来指导模型的收敛方向105
6.4.1 损失函式介绍105
6.4.2 TensorFlow中常见的loss函式106
6.5 softmax算法与损失函式的综合套用108
6.5.1 实例22：交叉熵实验108
6.5.2 实例23：one_hot实验109
6.5.3 实例24：sparse交叉熵的使用110
6.5.4 实例25：计算loss值110
6.5.5 练习题111
6.6 梯度下降——让模型逼近最小偏差111
6.6.1 梯度下降的作用及分类111
6.6.2 TensorFlow中的梯度下降函式112
6.6.3 退化学习率——在训练的速度与精度之间找到平衡113
6.6.4 实例26：退化学习率的用法举例114
6.7 初始化学习参数115
6.8 单个神经元的扩展——Maxout网路116
6.8.1 Maxout介绍116
6.8.2 实例27：用Maxout网路实现MNIST分类117
6.9 练习题118
第7章 多层神经网路——解决非线性问题119
7.1 线性问题与非线性问题119
7.1.1 实例28：用线性单分逻辑回归分析肿瘤是良性还是恶性的119
7.1.2 实例29：用线性逻辑回归处理多分类问题123
7.1.3 认识非线性问题129
7.2 使用隐藏层解决非线性问题130
7.2.1 实例30：使用带隐藏层的神经网路拟合异或操作130
7.2.2 非线性网路的可视化及其意义133
7.2.3 练习题135
7.3 实例31：利用全连线网路将图片进行分类136
7.4 全连线网路训练中的最佳化技巧137
7.4.1 实例32：利用异或数据集演示过拟合问题138
7.4.2 正则化143
7.4.3 实例33：通过正则化改善过拟合情况144
7.4.4 实例34：通过增大数据集改善过拟合145
7.4.5 练习题146
7.4.6 dropout——训练过程中，将部分神经单元暂时丢弃146
7.4.7 实例35：为异或数据集模型添加dropout147
7.4.8 实例36：基于退化学习率dropout技术来拟合异或数据集149
7.4.9 全连线网路的深浅关係150
7.5 练习题150
第8章 卷积神经网路——解决参数太多问题151
8.1 全连线网路的局限性151
8.2 理解卷积神经网路152
8.3 网路结构153
8.3.1 网路结构描述153
8.3.2 卷积操作155
8.3.3 池化层157
8.4 卷积神经网路的相关函式158
8.4.1 卷积函式tf.nn.conv2d158
8.4.2 padding规则介绍159
8.4.3 实例37：卷积函式的使用160
8.4.4 实例38：使用卷积提取图片的轮廓165
8.4.5 池化函式tf.nn.max_pool（avg_pool）167
8.4.6 实例39：池化函式的使用167
8.5 使用卷积神经网路对图片分类170
8.5.1 CIFAR介绍171
8.5.2 下载CIFAR数据172
8.5.3 实例40：导入并显示CIFAR数据集173
8.5.4 实例41：显示CIFAR数据集的原始图片174
8.5.5 cifar10_input的其他功能176
8.5.6 在TensorFlow中使用queue176
8.5.7 实例42：协调器的用法演示178
8.5.8 实例43：为session中的伫列加上协调器179
8.5.9 实例44：建立一个带有全局平均池化层的卷积神经网路180
8.5.10 练习题183
8.6 反卷积神经网路183
8.6.1 反卷积神经网路的套用场景184
8.6.2 反卷积原理184
8.6.3 实例45：演示反卷积的操作185
8.6.4 反池化原理188
8.6.5 实例46：演示反池化的操作189
8.6.6 实例47：演示gradients基本用法192
8.6.7 实例48：使用gradients对多个式子求多变数偏导192
8.6.8 实例49：演示梯度停止的实现193
8.7 实例50：用反卷积技术复原卷积网路各层图像195
8.8 善用函式封装库198
8.8.1 实例51：使用函式封装库重写CIFAR卷积网路198
8.8.2 练习题201
8.9 深度学习的模型训练技巧201
8.9.1 实例52：最佳化卷积核技术的演示201
8.9.2 实例53：多通道卷积技术的演示202
8.9.3 批量归一化204
8.9.4 实例54：为CIFAR图片分类模型添加BN207
8.9.5 练习题209
第9章 循环神经网路——具有记忆功能的网路210
9.1 了解RNN的工作原理210
9.1.1 了解人的记忆原理210
9.1.2 RNN网路的套用领域212
9.1.3 正向传播过程212
9.1.4 随时间反向传播213
9.2 简单RNN215
9.2.1 实例55：简单循环神经网路实现——裸写一个退位减法器215
9.2.2 实例56：使用RNN网路拟合回声信号序列220
9.3 循环神经网路（RNN）的改进225
9.3.1 LSTM网路介绍225
9.3.2 窥视孔连线（Peephole）228
9.3.3 带有映射输出的STMP230
9.3.4 基于梯度剪辑的cell230
9.3.5 GRU网路介绍230
9.3.6 Bi-RNN网路介绍231
9.3.7 基于神经网路的时序类分类CTC232
9.4 TensorFlow实战RNN233
9.4.1 TensorFlow中的cell类233
9.4.2 通过cell类构建RNN234
9.4.3 实例57：构建单层LSTM网路对MNIST数据集分类239
9.4.4 实例58：构建单层GRU网路对MNIST数据集分类240
9.4.5 实例59：创建动态单层RNN网路对MNIST数据集分类240
9.4.6 实例60：静态多层LSTM对MNIST数据集分类241
9.4.7 实例61：静态多层RNN-LSTM连线GRU对MNIST数据集分类242
9.4.8 实例62：动态多层RNN对MNIST数据集分类242
9.4.9 练习题243
9.4.10 实例63：构建单层动态双向RNN对MNIST数据集分类243
9.4.11 实例64：构建单层静态双向RNN对MNIST数据集分类244
9.4.12 实例65：构建多层双向RNN对MNIST数据集分类246
9.4.13 实例66：构建动态多层双向RNN对MNIST数据集分类247
9.4.14 初始化RNN247
9.4.15 最佳化RNN248
9.4.16 实例67：在GRUCell中实现LN249
9.4.17 CTC网路的loss——ctc_loss251
9.4.18 CTCdecoder254
9.5 实例68：利用BiRNN实现语音识别255
9.5.1 语音识别背景255
9.5.2 获取并整理样本256
9.5.3 训练模型265
9.5.4 练习题272
9.6 实例69：利用RNN训练语言模型273
9.6.1 準备样本273
9.6.2 构建模型275
9.7 语言模型的系统学习279
9.7.1 统计语言模型279
9.7.2 词向量279
9.7.3 word2vec281
9.7.4 实例70：用CBOW模型训练自己的word2vec283
9.7.5 实例71：使用指定侯选採样本训练word2vec293
9.7.6 练习题296
9.8 处理