本书主要研究内容为基于计算机视觉、数字图像处理、数字视频处理等理论,实现视频中运动目标的检测跟踪。根据视觉感知环境将研究内容分为单目、双目和多目视觉下的运动目标检测和跟踪。在单目视觉下,分别针对静止背景下的可见光视频中的目标检测跟踪、红外小目标的检测跟踪及动态背景下运动目标检测跟踪进行了研究,给出了运动目标检测、位置预测及模板匹配的跟踪思路和方法。此外,结合机器学习技术的广泛应用,针对目标长时在线跟踪中的漂移问题、尺度变换问题及目标精确定位问题,研究了机器学习的方法。在双目和多目视觉下,结合多摄像机之间的空间位置关系,就多目标跟踪中的三维跟踪、融合跟踪等技术进行了研究,并就其在多目视觉下基于标记点的运动捕获这一具体应用中的实现进行了研究,解决了其中的遮挡、运动机动性、数据融合等问题。
样章试读
目录
- 目录
前言
第1章 绪论 1
1.1 研究意义 1
1.2 国内外研究进展 2
1.2.1 单目视觉下的目标检测跟踪 2
1.2.2 双目及多目视觉下的目标跟踪 4
1.2.3 机器学习与目标跟踪 5
1.3 研究框架 17
第2章 多视视频处理软硬件平台 20
2.1 多视图像、视频同步采集硬件环境 20
2.2 软件环境 22
2.3 本章小结 28
第3章 多摄像机标定及三维坐标恢复 29
3.1 摄像机成像模型 29
3.2 摄像机标定 32
3.3 张氏标定算法 34
3.3.1 原理推导 34
3.3.2 畸变模型 38
3.3.3 标定算法流程 38
3.3.4 标定实验结果 39
3.4 三维重建算法 41
3.5 本章小结 46
第4章 视频中的多运动目标检测 47
4.1 结合瞬时差分和背景差分的运动目标检测 47
4.2 基于形态学处理的标记点检测 49
4.3 基于Harris角点检测的标记点检测 52
4.4 基于迭代阈值的标记点检测 53
4.5 本章小结 55
第5章 红外小目标检测 56
5.1 奇异值分解基本原理 57
5.2 粒子滤波基本原理 58
5.3 基于奇异值分解的背景抑制和粒子滤波的红外小目标检测 60
5.3.1 背景抑制 60
5.3.2 目标位置预测 63
5.3.3 算法实现 64
5.4 实验结果与分析 65
5.5 本章小结 67
第6章 运动背景下目标检测 68
6.1 基于特征点匹配的图像匹配 69
6.1.1 特征点匹配 69
6.1.2 实验结果与分析 71
6.2 基于相邻帧间背景匹配的目标检测 72
6.2.1 运动背景图像匹配 73
6.2.2 运动目标检测和提取 75
6.2.3 实验结果与分析 76
6.3 基于离散化摄像机运动的目标检测方法 77
6.3.1 运动摄像机视野范围的离散化 77
6.3.2 摄像机静止情况下的运动目标实时检测和跟踪 77
6.3.3 摄像机调度 79
6.3.4 随动跟踪 80
6.3.5 实验结果与分析 81
6.4 本章小结 81
第7章 扩展卡尔曼滤波与均值漂移结合的目标跟踪 83
7.1 基于均值漂移的目标跟踪 83
7.2 目标特征匹配与卡尔曼滤波更新 85
7.3 改进的均值漂移目标跟踪算法 87
7.4 实验结果与分析 88
7.5 本章小结 89
第8章 基于多子块模型的长时在线目标跟踪 90
8.1 在线目标跟踪框架 90
8.2 可信赖子块 97
8.2.1 序列化的蒙特卡洛框架 98
8.2.2 子块的可跟踪性度量 99
8.2.3 子块与整体目标的关系 100
8.3 可信赖子块跟踪器 101
8.4 线性回归与循环移位 103
8.4.1 线性回归模型 103
8.4.2 循环移位 104
8.4.3 循环矩阵 105
8.5 核空间的岭回归 106
8.6 融合可信赖子块与核相关滤波的目标跟踪 107
8.7 实验结果与分析 109
8.7.1 实验设置 109
8.7.2 定量评估与分析 110
8.8 本章小结 114
第9章 基于多轨迹分析的长时在线目标跟踪 115
9.1 带核的结构化输出跟踪 115
9.2 多跟踪器分析 117
9.2.1 多跟踪器 117
9.2.2 轨迹分析 118
9.2.3 最优跟踪轨迹选择 122
9.3 实验结果与分析 123
9.3.1 实验设置 123
9.3.2 定量评估与分析 123
9.4 本章小结 126
第10章 基于去冗余卷积特征的相关滤波跟踪 128
10.1 基于相关滤波的多通道特征 129
10.1.1 密集采样 129
10.1.2 多通道特征 130
10.2 卷积特征去冗余 132
10.2.1 特征通道的激活强度 133
10.2.2 基于激活强度的特征通道去冗余 135
10.3 多层次卷积特征的综合应用 137
10.3.1 卷积特征的尺度归一化 137
10.3.2 基于多层次卷积特征的目标定位策略 138
10.4 目标的尺度估计 142
10.5 算法框架及流程 143
10.6 实验结果与分析 144
10.6.1 实验设置 144
10.6.2 对比实验分析 146
10.7 本章小结 154
第11章 基于全卷积孪生网络的多模板匹配跟踪 156
11.1 全卷积孪生网络 156
11.1.1 孪生网络结构 156
11.1.2 基于全卷积孪生网络的相似度量 157
11.1.3 网络训练 158
11.2 多模板匹配跟踪 159
11.2.1 多模板匹配 159
11.2.2 多模板的选择与更新 160
11.2.3 增量式的更新计算 161
11.3 算法框架及流程 163
11.4 实验结果与分析 164
11.4.1 实验设置 164
11.4.2 对比实验与分析 166
11.5 本章小结 175
第12章 双目视觉下无明显特征区分的多目标三维跟踪 176
12.1 基于卡尔曼滤波器的三维跟踪 176
12.1.1 基于卡尔曼滤波器的目标跟踪 176
12.1.2 目标搜索匹配 177
12.1.3 目标更新 179
12.2 基于平行光轴摄像机外极线约束的立体匹配 179
12.2.1 外极线约束原理 179
12.2.2 平行光轴摄像机的外极线约束 181
12.2.3 无明显特征区分的多标记点立体匹配 182
12.3 平行双目视觉中结合外极线约束的跟踪 184
12.4 结合人体关节点骨骼长度约束的异常处理 188
12.5 本章小结 190
第13章 双目视觉下的机动目标跟踪 192
13.1 灰色预测模型 192
13.2 卡尔曼滤波和灰色预测结合的三维目标跟踪 196
13.2.1 标记点检测 196
13.2.2 标记点匹配 198
13.2.3 算法框架 199
13.3 实验结果与分析 200
13.4 本章小结 203
第14章 多目视觉下多目标融合跟踪 205
14.1 多目视觉跟踪系统结构 206
14.2 新标记点的数据关联算法 208
14.3 标记点融合跟踪算法 210
14.4 实验结果与分析 211
14.5 本章小结 216
第15章 基于拓扑结构保持的多目跟踪 218
15.1 扩展卡尔曼滤波器与自组织特征映射网络结合的三维跟踪 218
15.2 基于主成分分析的自动初始化算法 219
15.3 基于自组织特征映射网络的匹配策略 222
15.4 实验结果与分析 226
15.5 本章小结 229
参考文献 230
彩图