[01370942]大规模数据集分布式存储技术研究

经过近两年的努力工作，课题组圆满完成了全部研究内容，成功地达到了总体目标的要求，实现了大规模数据集分布式管理系统。项目的研究工作开展得深入而扎实，取得的科研成果达到了申请书中的规定。研究成果发表在10篇论文中，其中EI源刊5篇，核心期刊3篇。 本项目的总体成果为： 1.建立了一个大规模数据集分布式存储原型系统，应用到实验室科学研究中，改善大规模数据处理环境。其中，课题组创造性的提出了若干系统结构创新，包括：通过冗余复本维护和高速客户端校验机制的设计，实现了高效的并发读写和容错能力，采用带外传输、捎带指令、负载均衡等技术精简网络交互，实现网络负载的最小化，进一步提高了系统的访问效率和稳定性。在系统架构和技术选型上充分考虑了实际应用中的可移植性需求，对各种系统平台和底层的硬件实现都有良好的支持，具有较强的跨平台性和异构特性。 2.提出了管理大规模数据集的分布式表结构。通过将数据集分成若干有序子表，将整个大规模数据集的负载均衡到若干分布式节点中，从而在提供强大可扩展性的同时保证了高效的并发访问效率。同时，系统结构具有良好的动态特性和伸缩性，实现了较高程度的系统管理自动化，在实际应用中具有很好的可操作性； 3.提出了基于分布式表结构的二级分布式索引机制，通过针对记录的非主键属性建立分布式树的索引结构，提高整体系统的访问灵活性，同时大幅提高在非主键属性上的记录检索效率。 在电子商务、电子政务、数字图书馆等领域数据量越来越大，数据集越来越难以管理的背景下，许多企事业单位会迫切需要构建基于大规模数据集的数据管理系统，因此可以预见大规模数据集的分布式管理系统有巨大的商业市场，其经济效益与社会效益也同其他数据存储产品一样十分巨大。 大规模数据集的分布式管理系统有巨大的商业市场，其经济效益与社会效益十分巨大。该课题的研究对于分布式数据存储相关技术的不断发展进步具有积极作用.分布式数据集管理系统可以作为一项新兴的产业投入生产，在与传统的数据存储系统不断竞争中得到可持续性发展.