[01181147]基于SIP通讯和边缘计算的人工智能终端系统

1.课题来源与背景 对于K12学习阶段的学生来讲,教育需要学校、家长和社会的共同参与,其中家长和学校的沟通显得尤其重要,家长非常期望能够更多地了解孩子在学校的学习、生活情况。老师希望能第一时间与家长进行信息互动。近几年国家大力推行教育信息化建设,如三通二平台、班班通,家校互动产品也有了国家政策支持,逐步大有全国普及之势。目前国内主流产品多为三大运营商提供。如“校讯通”、“家校通”“翼校通”。 目前行业所做的家校互动产品所支持的功能,更多地是由教师发布通知给家长,无法实现视频通话及人员管理等功能。因此有必要开发新一代智能化互动终端系统。 2.技术原理及性能指标 本单位开展的“基于SIP通讯和边缘计算的人工智能终端系统”项目采用SIP协议、边缘计算、人脸识别技术,构建SIP可视电话系统、综合管理系统、人脸识别子系统。本项目基于SIP协议的网络IP电话实现技术,完成一款基于SIP协议的通信平台,主要实现人脸考勤、音视频通话、留言、视频投放、通知投放、请假、报修等功能。减轻管理人员的日常管理工作量,尽量避免消息通知不到位的情况。该平台能够将完整的SIP系统嵌入至安卓终端内,将手机号与手机号之间关联起来,通过手机号直接连通,不在仅限于普通电话机之间,充分利用手机的移动特性,链接不限于包括4G、5G、WIFI、有线链接等情况,同时可以做到视频通话的功能。 3.技术的创造性与先进性 本项目技术的创新性与先进性主要体现在： （1）基于SIP的通信平台。将传统电话服务与该平台电话通信进行对比可看出,该平台具备低成本、效率高等优点,同时可以对数据、图像、语音等多媒体信息进行有效传输,从而完成实时的交互式通信方式。 （2）本项目通过对传统人脸识别算法的研究,并对相关算法的试验分析以及借鉴边缘计算的思想,提出一种结合数据端的嵌入式设备以及高性能的云端服务器进行人脸识别的方式。在拥有高运行速度的云端上部署和训练Residual深度卷积神经网络,并结合Siamese网络模型,来实现人脸特征的提取和人脸验证;同时在运行能力较弱的用户端部署基于轻量级神经网络模型Mobile Net的模型,并结合Face Net的Triplet loss思想,对该网络模型进行训练和优化,用于人脸特征的提取和人脸的识别验证。 （3）针对离线工作的人脸识别系统应用一般算法准确率不高的问题,本系统设计开发了一个以深度神经网络为基础的实时小型化的人脸识别系统。通过模型压缩技术减少网络参数数量和运算量,同时保持了人脸识别网络的识别准确率,并最终在一个小型化的硬件平台上实现了离线版的实时的人证合一比对验证系统。 （4）针对联网工作的人脸识别系统应用一般不能实时识别,占用大量计算和存储资源的问题,本项目基于边缘计算技术,设计了一个结合图像识别和无线通信技术的智能监控系统。通过前后端识别模块算法以及央策器决策算法的共同作用,该智能监控系统不仅节约了大量传输时间,还节约了大量的存储资源,同时也保证了较高的人脸识别准确率。 （5）本科技成果为提升人脸识别正确率,在人脸识别模块构建深度卷积网络,并预处理图片集,深度卷积网络包括特征提取网络、预测网络和重构网络;利用预处理后的训练集中的低分辨率图片Pl输入上述深度卷积网络进行特征提取、邻域特征预测、邻域特征插值和重构预测出高分辨率图片Ph,计算Ph与训练集中目标高分辨率图片Pt间的均方损失,并通过梯度下降训练各部分网络,重复上述过程迭代M次完成训练;将实际场景中的低分辨率图片输入已训练的深度卷积网络,获取高分辨率图片以提升人脸识别正确率; （6）本科技成果为提升识别效率,在智能监控系统的决策器模块中,构建Q-Learning模型,将人脸识别模块构建状态集、行为集和回报函数,该回报函数权衡了人脸识别准确率和系统识别花费时间的权重,在人脸识别正确、时间花费很低时给出较高的奖励,在人脸识别错误、时间花费很高时不给奖励。其次将构建好的Q-Learning自适应算法在真实网络环境中进行离线学习,直到算法学习得到的知识收敛。最终决策器学习得到了一个效果较好的Q值表,同时也得到了其对应的Action矩阵。在保证识别正确率的前提下保证了识别效率。 4.技术的成熟程度,适用范围和安全性 本项目所开发的智能终端系统目前已批量生产,在广东省多地得到实际应用。系统运行稳定,用户体验良好。本系统除学校、高校、科研院所等应用场景外,也可广泛应用于企业办公室日常通话或电话会议、单位或宿舍考勤、工厂车间对讲、小区楼宇对讲、监狱探访等场景。 5.应用情况及存在的问题 本项目成果基于SIP通讯和边缘计算的人工智能终端系统已经在广东省多地开展实际应用。经用户反馈,本系统运作稳定,使用至今一直能正常通话和考勤,同时相关功能比同类型产品更加丰富完善,但系统硬件终端设备体积较大,需在后期升级过程中进行优化。