本书对近年来稀疏学习、分类与识别领域常见的理论及技术进行了较为全面的阐述和总结,并结合作者多年的研究成果,对相关理论及技术在应用领域的实践情况进行了展示和报告。全书从稀疏学习、分类与识别三个方面展开介绍,主要内容包含如下几个方面:以学习数据的有效表示为主题,通过挖掘数据本身固有的结构,如几何结构、稀疏与低秩结构等信息来更有效地学习数据的表示;从经典的压缩感知理论框架出发,讨论压缩感知的基本理论、方法和应用的发展概况,并侧重介绍基于过完备字典的结构化压缩感知;上述方法在图像解译中的应用。
样章试读
目录
- 目录
前言
第1章 引言 1
1.1 机器学习理论 1
1.1.1 维数约简 2
1.1.2 稀疏与低秩 2
1.1.3 半监督学习 4
1.2 压缩感知理论 5
1.2.1 压缩感知的研究意义 5
1.2.2 压缩感知的理论框架 6
1.2.3 压缩感知的重构算法介绍 8
1.3 高光谱遥感技术 9
1.3.1 遥感技术 9
1.3.2 高光谱遥感技术发展现状 10
1.3.3 高光谱遥感技术的应用 13
参考文献 15
第2章 机器学习理论基础 19
2.1 维数约简的研究进展 19
2.1.1 子空间分割 19
2.1.2 稀疏表示 21
2.1.3 矩阵恢复与填充21
2.1.4 非线性降维 22
2.2 半监督学习与核学习的研究进展 23
2.2.1 半监督学习 23
2.2.2 非参数核学习 24
参考文献 25
第3章 快速密度加权低秩近似谱聚类 29
3.1 引言 29
3.2 背景与相关工作 30
3.2.1 谱聚类算法 30
3.2.2 近邻传播算法 30
3.2.3 Nystrom方法 31
3.3 全局距离测度与采样算法 33
3.3.1 全局距离 33
3.3.2 快速采样算法 34
3.4 快速两阶段谱聚类框架 35
3.4.1 采样阶段 36
3.4.2 正交化的密度加权近似谱聚类阶段 36
3.5 算法分析 39
3.5.1 采样算法比较 39
3.5.2 有效性分析 40
3.5.3 快速近邻搜索 41
3.5.4 复杂度分析 42
3.6 实验结果 42
3.6.1 双螺旋线数据 42
3.6.2 实际数据 44
3.6.3 评价指标 44
3.6.4 比较算法 45
3.6.5 聚类结果 46
3.6.6 参数稳定性分析 48
3.6.7 谱嵌入 50
参考文献 50
附录 52
第4章 双图正则非负矩阵分解 54
4.1 引言 54
4.2 相关工作 55
4.2.1 非负矩阵分解 55
4.2.2 图正则非负矩阵分解 56
4.2.3 双正则联合聚类 57
4.3 双图正则非负矩阵分解方法 57
4.3.1 数据图与特征图 57
4.3.2 DNMF模型 58
4.3.3 迭代更新规则 59
4.3.4 收敛性分析 60
4.4 双图正则非负矩阵三分解 60
4.4.1 DNMTF模型 61
4.4.2 迭代规则 61
4.4.3 收敛性分析 62
4.4.4 复杂度分析 63
4.5 实验 63
4.5.1 比较算法 63
4.5.2 UCI 数据 64
4.5.3 图像数据 66
4.5.4 稳定性分析 69
4.5.5 雷达高分辨距离像数据 70
参考文献 72
附录A (定理4.1的证明) 74
附录B (定理4.2的证明) 75
第5章 学习鲁棒低秩矩阵分解 77
5.1 引言 77
5.2 相关工作及研究进展 78
5.3 鲁棒低秩矩阵分解框架 80
5.3.1 单子空间模型 80
5.3.2 多子空间模型 80
5.4 基于交替方向法的迭代算法 81
5.4.1 引入辅助变量 81
5.4.2 迭代求解算法 82
5.4.3 求解单子空间模型 85
5.4.4 拓展应用于矩阵填充 85
5.4.5 复杂度分析 87
5.5 实验 87
5.5.1 人工数据聚类 87
5.5.2 人脸聚类 90
5.5.3 背景建模 93
5.5.4 图像修复 94
参考文献 95
第6章 学习谱表示应用于半监督聚类 98
6.1 引言 98
6.2 图的创建与谱表示 99
6.2.1 对称偏好图 99
6.2.2 图拉普拉斯谱嵌入 100
6.3 问题模型与求解 101
6.3.1 目标函数 101
6.3.2 问题求解 102
6.4 算法 103
6.4.1 半监督聚类 103
6.4.2 直推式分类 104
6.4.3 复杂度分析 106
6.5 实验 106
6.5.1 比较算法与参数设置 106
6.5.2 人工数据集 107
6.5.3 向量型数据 108
6.5.4 图结构数据 113
6.5.5 半监督聚类应用 115
6.5.6 直推式分类应用 116
参考文献 117
第7章 应用低秩矩阵填充学习数据表示 120
7.1 引言 120
7.2 学习谱表示框架 122
7.2.1 核矩阵填充 122
7.2.2 提升矩阵学习模型 123
7.3 特征值迭代阈值算法 123
7.3.1 改进的不动点算法 124
7.3.2 加速策略 125
7.3.3 半监督聚类 127
7.3.4 推广到分类问题 127
7.3.5 复杂度分析 128
7.4 收敛性分析 128
7.5 实验 129
7.5.1 学习谱表示 129
7.5.2 比较算法与参数设置 130
7.5.3 向量型数据 131
7.5.4 图结构数据 134
7.5.5 分类应用 136
参考文献 137
附录A (定理7.2的证明) 140
附录B (定理7.3的证明) 140
附录C (定理7.4的证明) 140
附录D (定理7.6的证明) 141
第8章 结合约束与低秩核学习的半监督学习 143
8.1 引言 143
8.2 符号与相关工作 145
8.3 复合信息半监督学习框架 147
8.3.1 基本框架 147
8.3.2 核范数正则模型 147
8.4 半监督学习算法 148
8.4.1 改进的不动点迭代算法 149
8.4.2 连续性策略和BB 步长技术 151
8.4.3 标签传播 152
8.5 算法分析 154
8.5.1 收敛性分析 154
8.5.2 合法核154
8.5.3 复杂度分析 155
8.5.4 归纳分类 155
8.6 实验 155
8.6.1 比较算法与参数设置 156
8.6.2 交叉螺旋线数据 156
8.6.3 实际数据 157
8.6.4 直推式分类 158
8.6.5 归纳分类 162
参考文献 163
第9章 基于子空间类标传播和正则判别分析的单标记图像人脸识别 166
9.1 引言 166
9.2 正则判别分析和稀疏保持判别分析 167
9.3 子空间类标传播 168
9.4 基于子空间类标传播和正则判别分析的半监督维数约简 169
9.5 相关方法比较 171
9.6 实验 172
参考文献 177
第10章 基于双线性回归的单标记图像人脸识别 178
10.1 引言 178
10.2 LDA和RDA简述 180
10.2.1 LDA 180
10.2.2 RDA 180
10.3 双线性回归 181
10.3.1 基于子空间假设的类标传播 181
10.3.2 学习稀疏表示结构 182
10.3.3 稀疏保持正则项 183
10.3.4 基于双线性回归的半监督维数约简 184
10.3.5 核DLR 185
10.3.6 计算复杂性分析 186
10.4 相关方法比较 187
10.5 实验 188
10.5.1 数据库介绍 188
10.5.2 实验设置 189
10.5.3 实验结果与讨论 190
10.5.4 DLR方法的进一步探索 194
参考文献 196
第11章 基于旋转扩展和稀疏表示的鲁棒遥感图像目标识别 200
11.1 引言 200
11.2 基于稀疏表示的识别 201
11.2.1 稀疏表示 201
11.2.2 稀疏表示用于识别 202
11.3 基于旋转扩展和稀疏表示的遥感目标识别 203
11.4 实验结果与分析 205
11.4.1 基于RETSRC的遥感图像目标识别 206
11.4.2 旋转扩展倍数对识别性能的影响 207
参考文献 208
第12章 压缩感知理论基础 210
12.1 压缩感知概述 210
12.1.1 基于字典的稀疏表示 210
12.1.2 压缩观测 213
12.1.3 结构化稀疏重构模型 215
12.2 稀疏重构方法 218
12.2.1 凸松弛方法 218
12.2.2 贪婪方法 220
12.2.3 其他重构方法 221
12.2.4 基于自然计算优化方法的稀疏重构 222
参考文献 223
第13章 基于分块策略和过完备字典的非凸压缩感知框架 232
13.1 引言 232
13.2 基于过完备字典的分块压缩感知框架 233
13.2.1 分块压缩感知 233
13.2.2 过完备字典 233
13.2.3 结构化压缩感知模型 234
13.3 基于Ridgelet过完备字典的图像稀疏表示 234
13.4 结构化重构模型 237
13.4.1 基于图像自相似性的结构稀疏先验 237
13.4.2 基于图像块方向结构估计的重构模型 238
13.5 非凸重构策略 238
参考文献 239
第14章 基于协同优化的稀疏重构 240
14.1 引言 240
14.2 基于过完备字典的协同压缩感知 241
14.2.1 基于过完备字典的结构稀疏先验 241
14.2.2 基于协同优化的稀疏重构策略 241
14.2.3 相关工作 242
14.3 基于过完备字典的协同重构模型 244
14.3.1 基于字典的分块稀疏重构 244
14.3.2 基于结构稀疏模型的协同重构 244
14.3.3 基于自回归模型的协同重构 245
14.4 CR-CS协同重构算法 247
参考文献 254
第15章 基于过完备字典的方向结构估计模型及重构方法 256
15.1 引言 256
15.2 基于方向结构估计的重构模型 257
15.2.1 基于过完备字典的方向结构估计 257
15.2.2 稀疏字典的优化学习 257
15.2.3 基于方向结构估计的进化重构策略 258
15.3 相关工作 260
15.4 方向指导的稀疏字典优化及结构稀疏重构模型 260
15.4.1 方向指导的稀疏字典优化学习 260
15.4.2 基于稀疏子字典的结构稀疏重构模型 262
15.5 基于方向结构估计的非凸重构方法 263
15.5.1 基于字典的结构类型判定及方向结构估计 264
15.5.2 基于遗传优化的光滑图像块重构 266
15.5.3 基于遗传和克隆选择优化的非光滑图像块重构 267
15.6 仿真实验及结果分析 271
参考文献 275
第16章 基于光谱信息散度与稀疏表示的高光谱图像分类 276
16.1 高光谱图像分类的研究现状与挑战 276
16.1.1 高光谱图像分类研究现状 276
16.1.2 高光谱图像分类存在的挑战 277
16.2 研究动机 278
16.3 光谱信息散度 279
16.4 基于SID的稀疏表示分类方法 280
16.5 基于SID的联合稀疏表示分类方法 281
16.6 实验结果和分析 282
16.6.1 三种测度的比较 283
16.6.2 稀疏表示分类方法的性能比较 284
16.6.3 参数影响分析 285
16.6.4 收敛性证明 287
参考文献 287
第17章 基于多特征核稀疏表示学习的高光谱图像分类 289
17.1 引言 289
17.2 基于多特征加权联合的稀疏表示分类方法 291
17.3 基于多特征加权联合的核稀疏表示非线性分类方法 293
17.4 实验结果与分析 296
17.4.1 实验基本设置 296
17.4.2 AVIRIS数据的实验结果 297
17.4.3 ROSIS数据的实验结果 304
参考文献 307