本书兼顾深度学习的理论和应用,特别强调大规模训练应用案例,引导学生进人深度学习的前沿领域.主要内容有深度学习的核心理论问题:网络拓扑结构设计、网络参数初始化方法. 大规模网络训练的优化方法、正则化方法、激活函数的研究方法. 书中引人深度学习在计算机视觉中的大型经典和前沿应用案例,包括图像分类任务. 目标检测与跟踪任务、多源遥感图像融合任务、超分辨率任务. 图像隐写与图像信息安全任务等内容. 本书拥有丰富的数字化资源,扫描每章末二维码即可观看学习.
样章试读
目录
- 目录
前言
第1章 计算机视觉任务的基础知识 1
1.1 遥感图像基础知识 1
1.1.1 遥感和遥感系统 1
1.1.2 遥感图像成像机制 2
1.1.3 遥感图像特征 2
1.2 遥感图像融合基础知识 4
1.2.1 遥感图像融合背景 4
1.2.2 遥感图像融合类型 5
1.2.3 遥感图像融合实现原理 6
1.3 遥感图像超分辨率任务基础知识 12
1.3.1 遥感图像超分辨率背景 12
1.3.2 遥感图像超分辨率实现原理 13
1.4 目标检测基础知识 16
1.4.1 目标检测任务基本原理 16
1.4.2 目标检测任务常用评价指标及计算方法 18
1.5 目标跟踪基础知识 20
1.6 数据集 22
1.6.1 图像分类常用数据集 22
1.6.2 目标检测任务常用数据集 24
1.6.3 目标跟踪任务常用数据集和评价标准 25
1.6.4 遥感图像数据集 29
1.6.5 图像隐写数据集 30
1.6.6 人脸图像数据集 31
1.7 数字化资源 31
第2章 神经网络和卷积神经网络基础 32
2.1 神经元工作的数学表示 32
2.1.1 神经元工作的数学表示 32
2.1.2 神经元的一般化 33
2.2 什么是神经网络 34
2.2.1 神经网络的结构 35
2.2.2 神经网络的训练 37
2.2.3 神经网络的参数和变量 38
2.2.4 神经网络的代价函数和参数训练 39
2.3 随机梯度下降 40
2.4 神经网络正则化初步 45
2.4.1 模型选择,欠拟合和过拟合 45
2.4.2 权重衰减 49
2.4.3 丢弃法 51
2.5 卷积神经网络基础55
2.5.1 卷积神经网络的基本思想 55
2.5.2 卷积神经网络的数学表示 56
2.5.3 卷积神经网络的误差反向传播 60
2.6 残差网络 64
2.7 基于卷积神经网络的视觉注意力机制 67
2.7.1 空间域注意力 67
2.7.2 通道域注意力 69
2.7.3 混合域注意力 72
2.8 数字化资源 74
第3章 经典卷积神经网络结构 75
3.1 手写数字识别任务75
3.2 图像分类任务 77
3.2.1 图像分类研究背景 77
3.2.2 经典卷积神经网络结构: AlexNet 78
3.2.3 经典卷积神经网络结构: ResNet 80
3.2.4 经典卷积神经网络结构: GoogLeNet 84
3.3 数字化资源 87
第4章 激活函数的研究 88
4.1 激活函数的基本性质 88
4.1.1 无激活函数的神经网络 88
4.1.2 配备激活函数的神经网络 90
4.2 激活函数的理论分析 92
4.2.1 饱和激活函数 92
4.2.2 梯度消失和梯度爆炸问题 92
4.3 不可训练的激活函数 95
4.3.1 经典激活函数 95
4.3.2 整流型激活函数 99
4.4 可训练的激活函数 107
4.4.1 参数化标准激活函数 107
4.4.2 集成化激活函数 113
4.5 激活函数实验分析 119
4.5.1 CIFAR-10/100的实验 119
4.5.2 ImageNet的实验 126
4.6 数字化资源 130
第5章 深度学习的优化算法 131
5.1 优化算法与深度学习 131
5.1.1 优化算法与深度学习的关系 131
5.1.2 优化算法在深度学习中的挑战 131
5.2 随机梯度下降算法 134
5.3 动量法 137
5.3.1 梯度下降的问题 137
5.3.2 动量法 139
5.3.3 指数加权移动平均 141
5.3.4 从指数加权移动平均来理解动量法 142
5.3.5 NAG算法 142
5.4 自适应梯度方法 145
5.4.1 AdaGrad算法 145
5.4.2 RMSProp算法 151
5.4.3 AdaDelta算法 155
5.4.4 Adam算法 157
5.4.5 AdaMax算法 164
5.5 优化算法实验分析 166
5.5.1 小型机翼噪声回归的实验 167
5.5.2 CIFAR-10的实验 171
5.5.3 ImageNet的实验 173
5.6 数字化资源 175
第6章 神经网络的正则化 176
6.1 理论框架 176
6.2 正则化方法 178
6.2.1 批量归一化 178
6.2.2 权重衰减 182
6.2.3 Dropout 185
6.2.4 模型集成 188
6.2.5 数据扩增 190
6.2.6 提前终止 192
6.2.7 标签平滑 193
6.2.8 多任务学习 195
6.2.9 添加噪声 195
6.3 知识蒸馏技术 196
6.3.1 知识蒸馏 196
6.3.2 特征蒸馏 204
6.3.3 自蒸馏 209
6.4 数字化资源 212
第7章 网络初始化方法 213
7.1 预备知识 213
7.1.1 常用随机分布 213
7.1.2 随机变量的性质 213
7.2 Xavier初始化方法 214
7.3 Kaiming初始化方法 217
7.4 实验分析 221
7.4.1 Xavier初始化实验 221
7.4.2 Kaiming初始化实验 223
7.5 数字化资源 227
第8章 生成对抗网络基本原理 228
8.1 生成对抗网络的基本介绍 228
8.1.1 生成对抗网络的结构 228
8.1.2 生成对抗网络的理论分析 230
8.1.3 原始生成对抗网络 235
8.2 生成对抗网络常见的模型结构 237
8.2.1 条件生成对抗网络 237
8.2.2 深度卷积生成对抗网络 240
8.2.3 渐进式增长生成对抗网络 243
8.2.4 对抗自编码器 246
8.3 生成对抗网络的训练问题 249
8.3.1 生成对抗网络存在的问题 249
8.3.2 稳定训练的策略 251
8.4 基于Wasserstein距离的生成对抗网络 257
8.4.1 Wasserstein距离 257
8.4.2 基于Wasserstein距离的WGAN 258
8.5 数字化资源 261
第9章 基于卷积神经网络的计算机视觉任务 262
9.1 遥感图像融合任务 262
9.1.1 卷积神经网络与遥感图像融合的关系 262
9.1.2 遥感图像融合评价方法与评价指标 263
9.1.3 基于卷积神经网络的遥感图像融合方法:PNN 265
9.1.4 基于卷积神经网络的遥感图像融合方法:PanNet 268
9.1.5 基于卷积神经网络的遥感图像融合方法:CLGF 272
9.2 遥感图像超分辨率任务 275
9.2.1 卷积神经网络与遥感图像超分辨率的关系 275
9.2.2 遥感图像超分辨率评价方法与评价指标 276
9.2.3 基于卷积神经网络的超分辨率方法:SRCNN 276
9.2.4 基于卷积神经网络的超分辨率方法:ESRDNN 279
9.3 基于卷积神经网络的目标检测任务 281
9.3.1 Two-Stage目标检测算法 281
9.3.2 One-Stage目标检测算法 287
9.4 基于卷积神经网络的目标跟踪任务 291
9.5 基于卷积神经网络的图像隐写任务 302
9.6 数字化资源 320
第10章 生成对抗网络的应用 321
10.1 基于生成对抗网络的信息安全任务 321
10.1.1 基于生成对抗网络的图像隐写方法:HiDDeN 321
10.1.2 基于生成对抗网络的信息加密方法:ANES 328
10.2 基于生成对抗网络的计算机视觉任务 336
10.2.1 基于生成对抗网络的超分辨率方法:SRGAN 336
10.2.2 基于生成对抗网络的遥感图像融合方法:PSGAN 339
10.3 数字化资源 342
参考文献 343