[00735401]面向社区共享的高可用云存储系统

作为信息基础设施的重要支撑、代表未来存储发展方向的云存储虽已获得快速发展，但IDC、Gartner等权威机构的分析报告指出，构建高可用、高效率和高可扩展的云存储系统仍是国际公认的技术难题：同时，大型企事业单位自建自管云存储、与单位信息基础设施和业务服务需求相匹配的数据可控共享、以及用户TB甚至PB级数据的本地化即时使用等不断涌现的新型需求，使得问题进一步复杂化，迫切需要探究新的技术途径。在国家973、863等计划课题的资助下，该项目对此进行了系统性的关键技术攻关，取得了如下发明创新：1)发明了提升云服务和云数据可用性的方法，在解决云存储系统的高可用性难题上取得了重大突破：实现了云存储的容器化封装、全系统保护及按需恢复，在灾难发生时，云存储服务的恢复时间缩短3个数量级；融合了Paxos和纠刪码，将由副本不一致所导致的云数据不可用时间降低了30%:设计了针对闪存的磨损均衡方法，减少最高可达40%的影响闪存介质可用性的写放大效应。2)发明了基于社区的可控共享支持方法，提出了针对数据共享的层级密钥管理、云存储内嵌删冗、程序读写竞争错误自动防护等方法，解决了由于共享所引起的安全管控、云存储存储空间急剧膨胀、数据共享的竞争访问等系列难题，为满足企事业单位数据可控共享的需求提供了新途径。3)发明了一系列优化云存储系统性能和效率的方法，消除了云存储系统的性能瓶颈，提高了效率：数据聚散优化技术在保持接口简单性的同时，能够降低40%以上的数据访问延迟；自适应缓存框架可减少超过20%的平均响应时间；最小化数据迁移方法能够减少高达86%的数据再分布时间。4)发明了面向共享的可自调整适配的云存储系统架构及实现方法，提出了基于策略定制的主机-集群-数据中心三个层级的扩展方法、与社区共享管控相匹配的多根多版本文件管理方式以及数据的挂载使用机制等，方便了大型企事业单位自建自管云存储系统以及用户本地化即时使用TB乃至PB级数据的需求。围绕上述工项目获中国发明专利授权34项，美国发明专利授权2项；发表相关学术论文130余篇，其中顶级期刊和会议(中国计算机学会A类)10篇，知名期刊和会议(中国计算机学会B类)20篇。电子学会鉴定意见认为，系统技术先进，研制难度大，功能完整，运行稳定，总体达到国际先进水平。在跨数据中心的数据一致性维护、网络数据聚散RPC机制、云共享条件下的内嵌删冗和并行备份与恢复、基于社区的数据共享管控机制等方面的技术达到国际领先水平”。获2014年中国电子学会技术发明奖一等奖。项目成果已在广东联通、华为、中兴、中石油等20多家企事业单位和中科院、北京大学等50所大陆科研院所以及台湾新竹清华大学得到应用，服务的用户超过150万，支持的社区超过6000个。近3年新增销售额18,590万元，新增利润3,583万元。项目成果打破了国外垄断，探索出了一条经实际应用检验的面向大型企事业单位实施云存储的新途径，提高了中国相关行业领域的自主创新和市场竞争能力，应用前景广阔。