三维视频系统中的错误隐藏研究

资源类型: 资源大小: 文档分类: 上传者:

文档信息

【关键词】 三维视频  错误隐藏  相关性  运动/视差矢量  质量评价 

【出版日期】2017-11-21

【摘要】三维视频能提供给用户更逼真、更广角和交互性更强的体验,已成为当前先进视觉媒体模式之一。而其中多视点彩色和深度联合视频由于能提供显示立体场景的深度几何信息和拍摄场景不同角度的视频信息,成为了三维视频的核心数据表现方式。在三维视频系统中,当庞大的视频数据进行高效压缩编码后,经过通信信道进行传输时,由于目前的因特网信道或无线信道等都是不可靠信道,传输中视频数据不可避免的会出现丢包或整帧丢失,将严重影响解码端视频重建质量。在解码端利用已经正确接收的图像来对丢失图像进行错误隐藏,由于其不需要对编码端进行修改和不会带来延迟而受到广泛关注。因此,针对三维视频系统的错误隐藏技术极具研究价值。本文重点研究了如何结合图像的内容特征及人眼视觉特性,利用三维视频中存在的各种相关性来进行高效的三维视频错误隐藏;另本文为了今后更一进步研究解码端因包丢失或比特位出错而影响的视频流的感知质量评价,还提出了一种基于全局和局部稀疏表示的无参考立体图像质量评价方法。本论文的主要工作如下:(1)针对三维视频中多视点彩色联合深度视频编码结构中的整帧丢失提出了一种新的错误隐藏方法,算法首先利用丢失帧的彩色纹理和深度参考帧对丢失帧进行运动/静止区域划分,再利用结构相似度(SSIM)来度量丢失帧在不同的区域里视点域相关性还是时域相关性哪个更强,然后针对丢失帧不同的区域采用双向视差错误恢复或双向运动补偿恢复。实验结果表明本文提出的算法能够使恢复帧获得很好的主客观质量。(2)提出了一种三维视频B帧整帧丢失的分层错误隐藏算法。该方法首先根据帧所在视点类型和参考层的不同将B帧丢失定义为重要帧丢失和普通帧丢失;然后将丢失B帧进行了运动/静止区域估计;算法对不同层次的丢失帧的不同区域自适应地选择不同的错误隐藏方法来进行图像帧的恢复。实验结果表明本文算法有效的减少了算法复杂度,提高了所恢复的多视点视频中丢失帧图像的主客观质量。(3)针对三维视频传输中深度视频整帧丢失,提出了一种新的深度图丢失的错误隐藏算法,算法对彩色图像帧与对应深度图像帧之间进行了运动矢量共享映射,结合了深度丢失帧前后双向运动估计和运动补偿来对丢失帧进行错误隐藏,提出的算法恢复出的深度丢失帧能够使绘制出来的中间视点帧获得良好的主客观质量。(4)本文还提出了一种基于深度最大可容忍失真度的深度丢失帧错误隐藏方法。先利用深度丢失帧所对应的彩色纹理帧作为参考求取彩色恰可失真模型(JND),寻找深度失真与JND之间的关系,由此构建最大可容忍失真分布图;算法据深度图不同区域的最大可容忍失真度的值的大小调整错误隐藏策略。对于深度最大可容忍度失真度值大的区域采用粗恢复,提高错误隐藏效率;而对于最大容忍度值小的区域采用较精细的隐藏策略,提高虚拟视点绘制质量。(5)提出了一种基于全局和局部稀疏表示的无参考立体图像质量评价方法,在训练阶段,通过构造大量的训练样本,分别采用全局和局部的特征和质量描述,通过多模态字典训练,得到局部和全局的特征和质量字典;在测试图像,根据任意的测试立体图像,采用与训练相同的操作,通过多模态稀疏表示获得各个模态的稀疏系数,并通过全局和局部预测获得质量预测值,然后再对预测出的全局质量和局部质量进行加权得到最终的立体图像评价值。本方法在现有的立体图像数据库上均取得较高的评价结果。由于本方法不需要主观评价值进行训练,且训练模型独立于测试数据集,评价结果具有很强的通用性。

参考文献

引证文献

问答

我要提问