技术详细介绍
本发明公开了一种面向海量小文件的分布式存储方法
分布式存储方法创建一定数量的数据分区，把这些数据分区称为写入窗口，一个数据分区由K个大文件组成，这些大文件分别存储在不同网段的存储节点上；存储小文件时，从写入窗口中选择一个数据分区，以追加写的方式将该小文件写入该数据分区；当某个数据分区存储的数据量到达阈值时，将该数据分区从写入窗口中剔除，创建一个新的数据分区，并将其纳入写入窗口。本发明可根据存储节点的实时负载状态以及计算性能将海量小文件均衡地分布在各个存储节点，同时，分布式存储方法较好地实现了存储集群的容灾与平滑扩容。
分布式存储方法创建一定数量的数据分区，把这些数据分区称为写入窗口，一个数据分区由K个大文件组成，这些大文件分别存储在不同网段的存储节点上；存储小文件时，从写入窗口中选择一个数据分区，以追加写的方式将该小文件写入该数据分区；当某个数据分区存储的数据量到达阈值时，将该数据分区从写入窗口中剔除，创建一个新的数据分区，并将其纳入写入窗口。本发明可根据存储节点的实时负载状态以及计算性能将海量小文件均衡地分布在各个存储节点，同时，分布式存储方法较好地实现了存储集群的容灾与平滑扩容。