本书完整地论述三维视频技术的原理和算法,以三维视频系统为主线,结合人类视觉系统的感知特性进行展开.主要内容有z 兰维视频系统概述、人类视觉系统、场景的二维数据描述、立体视频编码、多视点视频编码、深度视频处理与编码、基于感兴趣区域的三维视频编码、低复杂度三维视频编码、三维视频系统的虚拟视点圄像绘制等.本书创建多种三维视频技术的理论模型,并给出相应的仿真结果,为读者描述了三维视频技术理论与相关方法。本书的特色是结合人类视觉感知特性对三维视频技术进行讨论,给出相应的理论方法推导,同时通过大量的实例验证了理论,是三维视频技术研究和应用之间的重要媒介。
样章试读
目录
- 目录
前言
第1 章三维视频系统概述 1
1.1 引言 1
1.2 兰维视频系统 2
1.2.1 面向应用的三维视频系统 3
1.2.2 面向存储与传输的主维视频系统 4
1.2.3 面向虚拟视点绘制的三维视频系统 5
1.3 三维视频系统性能 8
1.4 兰维视频信号采集 9
1.5 三维视频编码技术 10
1.5.1 视频编码标准 10
1.5.2 立体视频编码 12
1.5.3 多视点视频编码 13
1.5.4 深度视频编码 14
1.5.5 多视点彩色加深度视频联合编码 15
1.6 虚拟视点图像绘制 15
1.7 兰维视频显示技术 16
参考文献 17
第2 章人类视觉系统 21
2.1 视觉感知的生理学基础 21
2.1.1 眼球 21
2.1.2 视网膜 22
2.1.3 视觉通路 25
2.1.4 视觉信息处理过程 26
2.2 视觉感知现象 28
2.2.1 亮度适应能力 28
2.2.2 同时对比度 29
2.2.3 对比敏感度 29
2.2.4 侧抑制能力 30
2.2.5 视觉掩蔽和多通道效应 30
2.3 立体视觉感知 30
2.3.1 单眼线索 31
2.3.2 双目立体视觉现象 33
2.3.3 视差梯度界现象与视差 33
2.3.4 双目融合和双曰抑制 34
参考文献 34
第3 章场景的三维数据描述 37
3.1 三维场景的数据表示 37
3.2 兰维场景的立体成像原理 39
3.2.1 三维场景的立体相机成像模型 39
3.2.2 相机的标定 40
3.3 兰维视频数据获取 42
3.3.1 视频数据的采集 42
3.3.2 深度数据的获取 45
3.3.3 深度数据的量化 49
3.4 本章小结 50
参考文献 51
第4 章立体视频编码 53
4.1 数字视频编码技术 53
4.2 H.264/ AVC 与HEVC 标准 54
4.2.1 H.264jAVC 标准 54
4.2.2 HEVC 标准 56
4.3 MPEG-3DAV 中立体视频编码方案 60
4.4 基于H.264jAVC 的立体视频编码方案 61
4.4.1 基于H.264jAVC 的立体视频编码基本方案 61
4.4.2 基于H.264jAVC 中补充增强信息的立体视频编码方案 62
4.5 面向移动三维电视系统的立体视频编码方案 63
4.6 基于人眼视觉阔值的立体视频编码方案 66
4.6.1 非对称编码失真立体图像的视觉嗣值 66
4.6.2 视觉阔值的主观实验 67
4.6.3 视觉阑值的实验数据分析 74
4.6.4 基于立体视觉感知的非对称立体视频编码方案 79
4.7 基于纹理复杂度的非对称立体视频编码失真视觉阑值模型 81
4.7.1 主现实验设计 81
4.7.2 实验数据分析和非线性拟合模型 84
4.7.3 自然立体图像下TAvrQP模型的验证 86
4.7.4 自适应量化参数的非对称立体视频编码方案 89
4.7.5 实验结果 90
4.8 本章小结 95
参考文献 96
第5 章多视点视频编码 99
5.1 引言 99
5.2 多视点视频序列的时域与视点间相关性分析 100
5.2.1 相关性分析方法 100
5.2.2 多视点视频序列相关性统计结果及其数据分析 103
5.2.3 本节小结 107
5.3 基于时域/视点间相关性的各类多视点视频编码方案 107
5.3.1 多视点视频编码预测结构 107
5.3.2 多视点视频编码方案的实验结果与分析 116
5.3.3 本节小结 120
5.4 基于H.264 的多视点视频编码 121
5.5 基于HEVC 的多视点视频编码 125
5.6 多种模式可选的多视点视频编码方案 129
5.6.1 多模式多视点视频编码方案 129
5.6.2 自适应模式切换的多视点视频编码方案 137
5.6.3 面向交互性能的自适应多视点视频编码方案 140
5.6.4 基于分层B 帧的自适应模式切换多视点视频编码方案 145
5.7 联合深度信息的非对称多视点视频编码 160
5.8 本章小结 165
参考文献 165
第6 章深度视频处理与编码 169
6.1 引言 169
6.2 深度图像与视频编码 170
6.2.1 深度图像编码 170
6.2.2 深度视频编码 171
6.2.3 面向虚拟视点绘制的深度视频编码 172
6.2.4 联合影包图像编码模式的深度图像预处理与编码 175
6.2.5 基于深度最大可容忍失真的多视点深度视频编码 179
6.2.6 基于感知绘制质量模型的高效深度视频编码 184
6.3 深度视频的预处理 196
6.3.1 基于绘制无失真的探度视频处理 196
6.3.2 基于类相关与角点感知的深度视频处理 202
6.3.3 基于稀疏失真模型的探度图像修复 205
6.4 本章小结 210
参考文献 210
第7 章基于感兴趣区域的三维视频编码 215
7.1 引言 215
7.2 基于兰维感兴趣区域的兰维视频编码 216
7.3 基于深度的三维感兴趣区域提取 217
7.3.1 多视点联合的三维感兴趣区域提取结构 218
7.3.2 基于深度的感兴趣区域提取算法 219
7.4 基于立体视觉注意的感兴趣区域提取 234
7.4.1 立体视觉注意封算模型 235
7.4.2 基于立体视觉注意的感兴趣区域提取 242
7.4.3 客观实验结果与分析 243
7.4.4 三维感兴趣区域的主现实验分析 248
7.5 多视点视频码率分配优化方法 255
7.5.1 多视点视频码率分配优化方法 255
7.5.2 基于三维感兴趣区域的图像质量评价方法 258
7.5.3 基于立体视觉注意的多视点视频编码码率分配优化方法 260
7.5.4 基于立体视觉注意的多视点视频编码实验结果与分析 263
7.6 本章小结 269
参考文献 269
第8 章低复杂度三维视频编码 273
8.1 引言 273
8.1.1 系统级低复杂度视频编码 274
8.1.2 算法级低复杂度视频编码 276
8.1.3 指令级低复杂度视频编码 277
8.2 基于网络驱动的分布式三维视频编码 278
8.2.1 基于网络中心节点运动矢量外推的元钱传感阵列多视点视频编码 279
8.2.2 基于视点分层的无线传感阵列多视点视频编码 280
8.3 基于联合多视点视频模型的多视点视频编码快速算法 285
8.3.1 基于动态多阂值的多视点视频编码宏块模式选择快速算法 285
8.3.2 基于宏块模式视点间相关性的宏块模式选择快速算法 290
8.3.3 基于B 帧的多视点视频编码模式选择快速算法 296
8.3 .4 基于模式信息的低复杂度多视点视频编码方法 302
8.4 基于3D-HEVC 的低复杂度三维视频编码 308
8.4.1 基于HEVC 的单视点视频编码快速算法 308
8.4.2 基于HEVC 的深度视频编码快速算法 317
8.4.3 基于HEVC 与双目视觉感知的多视点视频编码快速算法 330
8.5 本章小结 338
参考文献 339
第9 章三维视频系统的虚拟视点圄像绘制 343
9.1 引言 343
9.1.1 全光建模 345
9.1.2 光线空间 345
9.1.3 光场 348
9.1.4 流明图 349
9.1.5 同心拼图 350
9.1.6 全景图 350
9.1.7 基于深度/视差的绘制 351
9.2 基于光线空间表示的虚拟视点图像绘制 353
9.2.1 传统的光线空间片插值方法与虚拟视点图像绘制 353
9.2.2 基于直线特征保持的光线空间插值与虚拟视点图像绘制 355
9.2.3 基于方向性检测的光线壁间插值与虚拟视点图像绘制 360
9.2.4 基于特征生长的光线空间插值与虚拟视点图像绘制 364
9.2.5 基于遮挡检测的光线空间插值与虚拟视点图像绘制 368
9.3 基于视差场的虚拟视点图像绘制 372
9.3.1 基于视差固的虚拟视点图像绘制 373
9.3.2 基于动态规划插值方法的虚拟视点图像绘制 374
9.3.3 改进动态规划的虚拟视点图像绘制 378
9.4 基于深度图像的虚拟视点图像绘制 381
9.4.1 基于深度图像绘制过程 381
9.4.2 基于块的快速虚拟视点图像绘制算法 384
9.4.3 虚拟视点绘制中空洞填补技术 389
9.5 本章小结 391
参考文献 391