第1章 绪论 1__eol__1.1 与深度学习有关的几个概念 1__eol__1.1.1 人工智能 2__eol__1.1.2 机器学习 4__eol__1.1.3 表示学习 10__eol__1.1.4 机器学习、神经网络及深度学习的关系 12__eol__1.1.5 深度学习常用的框架 14__eol__1.2 神经网络与深度学习的发展历程 15__eol__1.2.1 神经网络的诞生 16__eol__1.2.2 神经网络的复兴 16__eol__1.2.3 深度学习的崛起 17__eol__1.3 神经网络的产生机理 18__eol__1.3.1 大脑研究的基本情况 19__eol__1.3.2 脑组织的基本组成 20__eol__1.3.3 脑组织的分层结构 22__eol__1.3.4 大脑的基本工作原理 22__eol__1.4 生物神经网络基础 25__eol__1.4.1 神经元的基本结构 25__eol__1.4.2 神经元的基本分类 28__eol__1.4.3 神经元的信息传递机理 28__eol__1.4.4 生物神经网络的构成 31__eol__1.5 本书的知识框架体系 32__eol__1.6 本章小结 33__eol__第2章 人工神经网络计算 35__eol__2.1 神经网络概述 35__eol__2.2 人工神经元模型 36__eol__2.2.1 基本神经元模型 36__eol__2.2.2 常用激活函数 38__eol__2.2.3 Softmax输出分类 42__eol__2.3 神经网络结构 43__eol__2.3.1 单层前馈网络 44__eol__2.3.2 多层前馈网络 45__eol__2.3.3 反馈网络 46__eol__2.3.4 图网络 46__eol__2.4 神经网络的学习方法 47__eol__2.4.1 无监督学习的Hebb算法 48__eol__2.4.2 监督学习的Delta规则 49__eol__2.5 神经网络的损失函数 50__eol__2.5.1 均方差损失函数 50__eol__2.5.2 平均绝对误差损失函数 50__eol__2.5.3 交叉熵损失函数 51__eol__2.6 神经网络的学习规则 55__eol__2.6.1 极大似然估计 55__eol__2.6.2 经验风险最小化准则 57__eol__2.6.3 过拟合与欠拟合 57__eol__2.7 梯度下降法 58__eol__2.7.1 一维梯度下降 59__eol__2.7.2 多维梯度下降 60__eol__2.7.3 随机梯度下降 61__eol__2.8 网络正则化方法 62__eol__2.8.1 L1和L2正则化 62__eol__2.8.2 提前停止 63__eol__2.8.3 权重衰减 64__eol__2.8.4 丢弃法 64__eol__2.8.5 数据增强 69__eol__2.8.6 标签平滑 69__eol__2.9 模型评估方法 70__eol__2.9.1 混淆矩阵 70__eol__2.9.2 准确率、精确率、召回率 71__eol__2.9.3 ROC/AUC/PR曲线 72__eol__2.10 本章小结 74__eol__第3章 多层感知器神经网络 75__eol__3.1 感知器及其发展过程 75__eol__3.2 感知器学习算法 76__eol__3.2.1 离散单输出感知器学习算法 76__eol__3.2.2 离散多输出感知器学习算法 77__eol__3.2.3 多层感知器线性处理问题 79__eol__3.3 多层感知器的算法实现 82__eol__3.4 反向传播算法 84__eol__3.4.1 反向传播多层感知器模型 84__eol__3.4.2 反向传播算法的原理 85__eol__3.4.3 反向传播算法的执行步骤 89__eol__3.4.4 梯度消失和梯度爆炸问题 91__eol__3.4.5 反向传播网络的数据拟合问题 92__eol__3.5 本章小结 97__eol__第4章 自组织竞争神经网络 98__eol__4.1 竞争学习的概念与原理 98__eol__4.1.1 竞争学习规则 98__eol__4.1.2 竞争学习原理 100__eol__4.2 SOFM网络 101__eol__4.2.1 SOFM网络结构 101__eol__4.2.2 运行原理 102__eol__4.2.3 学习过程 103__eol__4.2.4 两阶段学习 104__eol__4.3 ART网络 105__eol__4.3.1 ART网络结构 105__eol__4.3.2 网络运行与训练 107__eol__4.3.3 网络运行的参数说明 108__eol__4.4 自组织竞争神经网络的算法实现 108__eol__4.5 本章小结 109__eol__第5章 径向基函数神经网络 111__eol__5.1 径向基函数介绍及结构 111__eol__5.2 函数逼近与内插 112__eol__5.2.1 插值问题的定义 112__eol__5.2.2 径向基函数的一般形式 112__eol__5.2.3 径向基函数的性质 113__eol__5.3 正则化理论 114__eol__5.4 径向基函数神经网络学习 117__eol__5.4.1 随机选取径向基函数中心 117__eol__5.4.2 自组织学习选取径向基函数中心 118__eol__5.4.3 有监督学习选取径向基函数中心 119__eol__5.5 本章小结 120__eol__第6章 卷积神经网络 122__eol__6.1 卷积神经网络的概念及特点 122__eol__6.1.1 卷积的定义 122__eol__6.1.2 卷积的变形 123__eol__6.1.3 卷积与互相关操作 124__eol__6.1.4 卷积神经网络的特点 125__eol__6.2 卷积神经网络的基本结构 126__eol__6.2.1 卷积层 127__eol__6.2.2 汇聚层 131__eol__6.2.3 全连接层 133__eol__6.2.4 输出层 134__eol__6.3 卷积神经网络参数学习 134__eol__6.4 卷积神经网络常用模型 137__eol__6.4.1 LeNet模型 137__eol__6.4.2 AlexNet模型 139__eol__6.4.3 VGGNet模型 140__eol__6.4.4 GoogLeNet模型 141__eol__6.4.5 ResNet模型 146__eol__6.4.6 DenseNet模型 148__eol__6.5 卷积神经网络的算法实现 149__eol__6.6 本章小结 152__eol__第7章 循环神经网络 153__eol__7.1 循环神经网络的概念 153__eol__7.2 循环神经网络模型 154__eol__7.3 循环神经网络参数学习 156__eol__7.3.1 BPTT算法 156__eol__7.3.2 RTRL算法 157__eol__7.4 网络梯度问题改进 157__eol__7.5 长短期记忆 158__eol__7.6 门控循环单元网络 161__eol__7.7 深度循环神经网络 162__eol__7.7.1 堆叠循环神经网络 162__eol__7.7.2 双向循环神经网络 163__eol__7.8 循环神经网络算法实现——手写体数字识别问题 164__eol__7.9 本章小结 168__eol__第8章 注意力机制与反馈网络 169__eol__8.1 注意力机制网络 170__eol__8.1.1 注意力机制网络的概念及分类 170__eol__8.1.2 自注意力模型 174__eol__8.2 离散型Hopfield神经网络 176__eol__8.2.1 网络的结构与工作方式 176__eol__8.2.2 网络的能量状态分析 178__eol__8.2.3 网络吸引子的性质 181__eol__8.3 连续型Hopfield神经网络 183__eol__8.3.1 网络的拓扑结构 183__eol__8.3.2 网络的能量与稳定性分析 185__eol__8.4 Hopfield神经网络应用实例 186__eol__8.5 Hopfield神经网络求解TSP 190__eol__8.6 本章小结 192__eol__第9章 深度学习网络优化 193__eol__9.1 参数初始化 193__eol__9.1.1 固定方差参数初始化 194__eol__9.1.2 方差缩放参数初始化 195__eol__9.1.3 正交初始化 197__eol__9.2 数据预处理 198__eol__9.3 逐层归一化 201__eol__9.3.1 批量归一化 201__eol__9.3.2 层归一化 203__eol__9.3.3 权重归一化 204__eol__9.3.4 局部响应归一化 205__eol__9.4 超参数优