[01121303]基于语义内容的大规模图像检索研究

“基于语义内容的大规模图像检索研究” 课题组大规模图像数据检索中的关键技术高层语义特征提取、特征存储等问题进行科学研究,结合卷积神经网络模型, GAN网络等进行研究。课题组研究得到了如下一些成果。 （1）在有效提取图像高层语义特征方面的深度卷积模型研究中,本课题提出了一种基于感知损失和风格损失的图像扩展算法,对预处理后的数据集送入到构建好的图像扩展网络中,图像扩展网络包括重构路径和生成路径,重构路径用于输入待补全区域图像,获取其待补全部分的先验信息,最后重构出原始图像;生成路径用于输入缺失图像,利用重构路径得到的先验分布,引导图像的生成过程,在训练过程中,重点引入感知损失和风格损失约束生成图像的纹理和风格,改善了传统方法的扭曲模糊结构。感知损失和风格损失分别获取已知区域的语义信息和整体风格,从而有助于网络把握图像的真实纹理风格。 （2）在图像分割得到图像目标对象语义特征方面的研究中,我们提出了一种基于GAN的医学图像病变区域弱监督分割算法。该算法具体包括以下步骤：收集数据并制作数据集,将每一次CT扫描的成像文件重采样成固定分辨率并保存为NPY格式并保存对应的标签信息;构建基于卷积神经网络的分类器,使用上述的数据集对分类器进行预训练,学习高级语义特征;构建基于生成对抗网络的框架,使用生成器学习正常人与病人的检查结果的影像学差异,使用判别器和预训练的分类器来强化生成器的学习效果并使生成器能够捕捉到病人的病变区域;本算法实现了可以自动学习病人与正常人之间的差别,实现了无需对病变区域进行标注而能有效的对病变的区域进行定位,提供辅助诊断信息。 （3）本课题研究图像超分辨率重建技术并用于提升图像质量表示。图像超分辨率重建的核心概念是利用时间带宽（同一场景的多帧图像序列）来实现时间分辨率到空间分辨率的转换。我们研究提出了一种基于ERGAN 网络单幅图像超分辨重建方法。针对现有技术中存在的上述不足之处,本方法要解决的技术问题是提供一种基于ERGAN 网络单幅图像超分辨重建方法。本方法的优点主要包括提出了基于生成对抗网络,增强对称残差单位的单图像超分辨率,在训练的过程中保留了高频特征,减轻深层网络训练的难度。本方法构造了对称跳跃连接在残差单元中,重建出原始图像的长度和宽度的四倍大小的超分辨率图像,并表现出优异的视觉性能。通过本方法操作,可以有效提升图像表示质量,从而为图像高层语义特征提取提供更好的便利。 （4）为了在大规模图像检索操作中高效搜索对比图像特征或存储大规模图像数据,,从而为大规模图像检索应用打下坚实的基础。图像检索的实际应用要达到实用的境地,他必须满足检索结果的实时性要求。随着编码技术的发展和网络通信技术的进步,当前多媒体通过网络连接在一起,由于网络的异构性和终端方面的多样性,这就要求编码所产生的比特流必须能够适应这些特点,降低编码复杂度,提高编码速度,节省编码时间,是当前人们研究的一个重要方向。研究当前的HEVC 编码算法,它具有非常高的编码效率,然而该算法的算法复杂度高,因此对算法的应用具有一定的负面影响。因此如何研究高效的HEVC 编码算法成为了当前的一个研究热点。针对图像和视频编码算法,我们提出了一种基于机器学习的编码算法来改进编码的效率。提出的算法能够有效地存储数据并保留数据特征和相关信息,为大规模图像和视频数据的存储提供了高效的存储手段。 （5） 由于图像检索具有很大的实用价值,课题组研究开发出点子商务购物系统,本购物系统是基于实际生活中的电商网站需求进行设计开发的。使用JSP在网络上搭建一个动态的电子购物网站,在Windows操作系统下,采用B/S三层结构的设计。客户端在浏览器上访问,服务器端调用数据库对数据进行调用反馈。在开发过程中,使用Eclipse作为编程工具,使用Tomcat7.0作为服务器工具,mysql作为数据库工具进行开发。该系统为普通用户实现了用户注册登录、搜索指定商品、购物车管理、订单管理、售后评论等功能;为管理员实现了增加商品、删除商品等功能。为图像检索系统的开发作了有益的尝试。