[01504301]面向自由视点视频系统的立体视频质量评价研究

本课题主要工作如下： （1）一种无参考非对称虚拟视点立体视频质量评价方法 针对虚拟视点立体视频左右视点非对称分布问题,提出一种无参考虚拟视点立体视频质量评价方法。结合虚拟视点立体视频非对称失真特点和用户的人眼视觉特性,该方法利用局部和全局两部分特征来表征虚拟视点立体视频的质量。首先,提取三种尺度下视频时域和空域形态学边缘图,并计算其水平方向和垂直方向标准差特征;然后,提取三种尺度下视频的时域和空域自然场景统计特征;最后,考虑左右视点非对称失真分布,将左右视点特征按照在剪切波子带中的信息量合成立体视点特征,并利用随机森林预测得到最终的客观质量分数。在非对称虚拟视点立体视频数据库上对本文算法和对比算法进行测试,本文算法的PLCC、SROCC、Kendall秩相关系数和均方误差分别为0.908、0.867、0.699和5.806。与现有客观质量评价算法相比,本文算法结果更加符合人眼主观感知。 （2）一种自由视点的质量评估方法 提出一种FVV系统中3D视频的质量评估方法。首先,利用时空域特征提取人眼感知的失真关键区域,量化该区域的失真程度获得初始视频质量分数。接着,考虑到FVV系统的多组合特性,将待测视频分类。最后,根据视频类别矫正初始视频质量分数获取最终质量分数。实验结果表明,本算法的评价指标优于其他相关客观质量评价方法,所提算法可有效评价3D虚拟视点视频质量。 （3）基于机器学习的VVC帧内快速算法 基于支持向量机（Support Vector Machine, SVM）的VVC帧内快速算法。首先,针对VVC中的CU划分提出了基于熵和纹理对比度的特征,用以区分其水平和垂直划分;然后,收集了不同尺寸CU的划分结果和特征输入SVM进行了学习;最后,使用SVM预测划分并限制多类型树深度,达到节省编码时间的目的。实验结果表明该算法节省51.01%的编码时间,BDBR仅上升1.54%,并且有较好的稳定性。 （4）基于感知信道容量的感知编码方案 提出了一种基于感知噪声信道模型的PVC方案。首先建立了视觉抖动模型,用于模拟外部环境改变引起的视觉抖动,并将视觉抖动的刺激信号作为边信息进行传输,在此基础上建立了感知噪声信道模型。然后,利用因子图模型提出了基于消息传递算法的视觉抖动量化步长估计算法。在保证可靠传输和不可感知特性的前提下,得到视觉抖动量化步长。同时,利用该量化步长,计算视觉抖动及其噪声。最后,在编码的RDO过程中引入感知噪声权重因子,并设计了基于HEVC的PVC方案。同时,为了更有效地控制不同编码量化参数下的不同失真补偿程度,在RDO过程中引入了失真补偿控制因子。实验结果表明,所提出的PVC方案在LD和RA配置下分别节省码率为35.93%和24.93%,并保证了视频的主观质量。与原始编码平台相比,在LD和RA配置下,平均编码时间分别增加了13.53%和19.26%。与其他PVC方案相比,提出的PVC方案可以获得更高的主客观视频质量,节省更多的码率,同时具有更低的编码复杂度。 （5）基于层间相关性的SHVC增强层码率分配算法 为充分利用SHVC的分层级编码特点,提高ELs的编码效率,本文提出一种基于图片组（Group Of Pictures, GOP）交替编码顺序的后续帧BA方法。首先研究SHVC的编码结构并实现了GOP交替编码顺序。然后利用RDO理论对ELs的后续帧BA过程进行理论分析,提出了针对ELs后续帧的自适应BA模型。最后利用层间相关性建立自适应因子模型。编码结果表明,在初始BA算法的基础上,本文算法在保证控制精度情况下ELs的PSNR平均提高到0.28dB,与最新的经典方法相比,本文PSNR算法平均提高了0.16dB。 （6）面向六自由度视频应用的多视点视频码率分配 针对基于MVD的6DoF视频视点级的比特分配问题,考虑到虚拟视点绘制时,各参考视点质量对虚拟视点质量的影响不同,提出了一种基于虚拟视点融合权重的比特分配方法。首先,对彩色和深度视频进行统计实验,分别得到彩色和深度视频对应的虚拟视点质量预测模型（Quality prediction model of virtual view, QPMVV）。其中,该模型系数与虚拟视点融合权重有关。然后,基于QPMVV模型分别推导出彩色和深度视频的相关视点的比特分配权重。实验结果表明,与视点级比特平均分配的方法相比,在目标比特相同的情况下,质量最多提高1.36 dB。因此,提出的方法可以得到质量更高的虚拟视点。特别地,虚拟视点偏离参考视点中心位置越远,质量改善越明显。 本项目在在Digital Signal Processing、Signal Processing- Image Communication、Multimedia Tools and Applications等刊物上共发表论文4篇,其中SCI收录3篇;获得授权发明专利2项。