[01217277]高容错高恢复能力的数据存储关键技术及应用

在当前大规模数据的分布式存储中,因节点失效或者外力导致的数据丢失不可避免,为了避免数据丢失带来的损失,本成果以分布式存储的数据可靠性为目标,研究了一类自主设计的存储编码技术,并可以采用不同的恢复方法,对不同类型的数据进行数据丢失防护,其主要技术内容包括,研究了可用于多节点的分布式存储系统的纠删码容错方法,为应对一定比例的节点失效带来的数据损失问题,可对存储数据进行存储编码预处理,可根据容忍失效比例进行数据编码矩阵构造,该类方法可以在系统部分节点失效的情况下,可采用一定的恢复方法进行丢失数据的恢复,纠错能力高,需要增加的额外的存储空间较少;研究了一种具备较高安全性的数据分存方法,可以将需要安全存储的数据通过在分布式存储系统中进行份额分存,分存份额可恢复,并且存储份额可缩小;构建了高容错的分布式集群存储系统,底层采用纠删码方法以实现数据的分布式存储,有不同类型的编码可供选择,如可采用最优存储效率编码,具备快速恢复能力的阵列码等编码技术对不同类型数据进行存储,数据存储分布均匀,在相应的节点出现故障的时候,可以通过其他可用节点恢复出节点的丢失数据;构造了相关的针对存储系统的安全保障技术,能够检测比特流传输或存储中的错误位置,并矩阵方法进行错误定位及恢复,数据恢复正确。能够对图像篡改位置分块进行定位,并且在设定比例范围内可以进行图像内容恢复。 本成果突破了分布式存储中的多项技术限制,解决了目前大数据存储中对数据存储效率低及容错处理能力弱的不足的问题,为国家新型技术发展和新基建建设具备重要意义。本成果在不同领域进行了应用推广,如气象数据管理、政务数据管理、公共安全监控、网络安全数据存储等,为社会发展带来了重大的经济价值和重要的社会价值。