[01624903]基于对象的视频细粒度可分级编码理论与方法研究

该课题来自国家自然基金项目：基于对象的视频细粒度可分级编码研究（编号：60372071，时间：2004.1. ～ 2006.12）和计算机软件新技术国家重点实验室(南京大学)开放课题基金项目：基于小波的视频细粒度可分级编码研究（编号：A2005 06，时间：2005.6.～ 2006.12.）。在视频的网上传输过程中，由于用户要求不同、终端能力不同、异构网络的不同支路所能提供的QoS不同或网络传输条件的变化（比如噪声、拥塞等）等原因，导致了视频的渐进传输和多质量视频服务等应用需求，解决此类问题的最好方法是采用可分级编码（Scalable Coding）机制，即用单个编码器产生一个单一的，具有可分级特点的压缩码流，用户端可根据自己的具体情况，对码流进行部分解码以获得具有不同质量的视频图像。视频的可分级编码机制是多媒体信息传输的热点和难点问题，特别对基于对象的视频可分级编码，至今未得到很好解决。对该问题的研究既具有重要的理论意义，又为实际应用所急需。我们所研究的基于对象的视频细粒度可分级编码技术将突破传统基于分层的可分级编码的局限性和MPEG4中FGS方案对基于任意视频对象进行可分级编码的限制，使得视频信息的编码和服务更加灵活有效。该项目以基于对象的视频细粒度可分级编码为研究内容，（1）提出了一种形状自适应的整数小波变换方案，并根据帧内和帧差图像变换系数的分布特点提出了基于奇数平方阈值和二分法量化方案的帧内图像编码方法，以及基于位平面和双重量化方案的帧差图像编码方法，进而获得了较之传统EZW和SPIHT更高的编码效率和主观质量；（2）对现有的小波域运动估计技术进行了深入的比较研究，并结合可分级编码对运动估计的特性要求，提出了MLBS(Modified Low Band Shift)方法，以及基于MLBS的运动估计方案，将运动补偿帧的PSNR提高了1-3db，其时空复杂度仅是LBS的30%-40%；（3）在上述方案基础上，对视频细粒度空间可分级、数率可分级以及空间和数率混合可分级等编码方案进行了大量实验和比较研究，并提出了相应的编码方案，有效抑制了误差漂移。创新点包括：①提出一种基于视频对象的形状自适应提升小波变换方案（LS-SA-DWT）；②研究基于LS-SA-DWT变换域的视频对象运动估计理论和方法，提出相应的运动补偿策略，同时要求该策略既能适用于视频对象的运动估计，又能满足细粒度视频可分级编码的需求；③提出基于LS-SA-DWT变换和视频对象运动估计方案的帧内和预测帧差图像的编码策略；④研究基于LS-SA-DWT变换和视频对象运动补偿策略的视频对象细粒度可分级编码方法，具体包括：空间分辨率可分级、数率可分级（或称SNR可分级）以及空间和数率混合可分级等。该项目的研究成果可以广泛用于在视频网上传输过程中，由于用户要求不同、终端能力不同、异构网络的不同支路所能提供的QoS不同或网络传输条件的变化（如噪音、拥塞等）等原因，所带来的对视频渐进传输和多质量服务的应用项目，比如视频会议、视频点播、多媒体数据库浏览等，具有非常好的应用前景。