本书从逼近论角度,由最基本的线性无关函数基(插值基、奇异值分解、主成分分析)出发,到正交函数基(傅里叶变换、小波基),再到一般通用逼近算子(人工神经网络),延伸至过完备基(压缩传感、稀疏表示),最后实现分层特征表示(深度学习)。通过基函数表示信息的思想贯穿始终,作者希望由此启发读者更进一步思考如何构造更好的表示方法实现多模态统一表示。
样章试读
目录
- 目录
前言
第1章 引言1
1.1背景与动机1
1.1.1什么是表示1
1.1.2表示与函数重构1
1.1.3基函数表示2
1.1.4框架表示3
1.1.5Riesz基表示4
1.1.6投影表示5
1.1.7伽辽金表示5
1.1.8词典表示6
1.2本书架构7
1.3小结9
第2章 插值10
2.1引言10
2.2拉格朗日插值10
2.2.1拉格朗日插值误差11
2.2.2拉格朗日线性插值11
2.2.3拉格朗日二阶插值12
2.3牛顿插值12
2.4Hermite插值13
2.5样条插值14
2.6插值方法在数字图像处理中的应用14
2.7小结16
第3章 奇异值分解和主成分分析17
3.1基本概念17
3.1.1内积空间17
3.1.2范数18
3.1.3正交基18
3.1.4特征值与奇异值18
3.2奇异值分解20
3.3主成分分析21
3.4应用22
3.4.1伪逆与最小二乘22
3.4.2数据表示与分析24
3.4.3线性判别分析24
3.4.4特征脸25
3.4.5潜在语义分析25
3.5小结28
第4章 傅里叶变换与小波变换29
4.1函数与变换29
4.2傅里叶变换:时间遇到频率30
4.2.1连续傅里叶变换30
4.2.2离散傅里叶变换31
4.2.3通过傅里叶变换实现稀疏表示33
4.2.4傅里叶变换的应用35
4.3小波变换37
4.3.1多分辨率表示:嵌套网格逼近37
4.3.2连续小波变换42
4.3.3离散小波变换42
4.3.4小波变换实例43
4.3.5通过小波表示函数45
4.3.6小波应用46
4.4傅里叶变换与小波变换比较48
4.5小结49
第5章 人工神经网络——通用逼近算子50
5.1引言50
5.2基本概念50
5.2.1网络架构51
5.2.2激活函数51
5.3简单神经元54
5.4单层神经元55
5.5多层感知器57
5.5.1多层感知器的激活函数58
5.5.2后向传播算法58
5.5.3多层感知器的表达与逼近能力59
5.6径向基神经网络60
5.6.1径向基网络与多层感知器比较62
5.6.2例子62
5.7小结65
第6章 稀疏表示66
6.1为什么要用稀疏表示66
6.2问题转换66
6.3将问题转换为线性规划问题68
6.4稀疏表示的几何解释69
6.5贪婪算法71
6.5.1匹配追踪72
6.5.2正交匹配追踪74
6.5.3基追踪75
6.5.4松弛方法76
6.6小结76
第7章 压缩传感78
7.1引言78
7.2理论基础与问题描述80
7.2.1稀疏性80
7.2.2压缩传感问题描述81
7.3测量矩阵与感知矩阵81
7.3.1有限等距性质82
7.3.2感知矩阵83
7.3.3相关性83
7.4问题求解与信号恢复83
7.4.1*范数重构84
7.4.2*范数重构84
7.4.3*范数重构84
7.5重构算法85
7.5.1凸优化松弛方法85
7.5.2贪婪迭代算法85
7.5.3迭代阈值算法85
7.5.4组合算法与子线性算法86
7.5.5非凸优化算法86
7.6应用86
7.6.1数据压缩86
7.6.2校验编码87
7.6.3逆问题87
7.6.4数据与图像获取87
7.7小结87
第8章 深度学习与特征学习88
8.1引言88
8.2深度框架90
8.2.1构造深度框架的动机91
8.2.2计算框架的深度和类型92
8.2.3逐层预训练92
8.3卷积神经网络94
8.3.1稀疏连接94
8.3.2加权共享94
8.3.3极大池化95
8.3.4完整模型:LeNet96
8.4深度置信网络96
8.4.1限制玻尔兹曼机96
8.4.2堆叠限制玻尔兹曼机构建深度置信网络101
8.5堆叠自动编码器102
8.5.1自动编码器神经网络102
8.5.2去噪自动编码器105
8.5.3堆叠自动编码器构造105
8.5.4稀疏自动编码器107
8.6深度学习相关软件包109
8.7小结110
第9章 深度学习应用于自然语言处理:词向量111
9.1语言模型111
9.2One-Hot表示方法112
9.3词向量113
9.4词向量的训练113
9.4.1Yoshua Bengio语言模型114
9.4.2Ronan Collobert-Jason Weston方法115
9.4.3Andriy Mnih-Geo.rey Hinton方法(HLBL)116
9.4.4Tomas Mikolov循环神经网络方法116
9.5Google词向量工具包word2 vec117
参考文献119