中国邮政储蓄银行股份有限公司HDFS分布式文件系统的小文件快速定位与处理方法、装置及电子设备、存储介质专利公布(数据处理专利快讯)

天眼查App显示,2025年6月27日,《HDFS分布式文件系统的小文件快速定位与处理方法、装置及电子设备、存储介质》正式进入专利的公布阶段。申请人为中国邮政储蓄银行股份有限公司,该项计算领域专利涉及大数据环境下对HDFS中小文件的自动化发现与治理技术。据专利信息显示,该方案实现了小文件的快速定位与治理闭环策略,集群运行稳定性与处理效率获得显著优化。发明人为王淼、王华磊。本申请公开了一种HDFS分布式文件系统的小文件快速定位与处理方法、装置及电子设备、存储介质,所述方法包括在监控到新的fsimage文件生成时,将所述新的fsimage文件解析为元数据并通过消息队列发送至数据库,所述元数据包括关于文件的元数据信息和关于文件夹的元数据信息;在所述数据库中监听所述关于文件的元数据信息以及所述关于文件夹的元数据信息,并定位到小文件所在的位置;根据所述小文件所在的位置,分别对数据文件和元数据文件执行对应的治理手段。本申请实现了HDFS中小文件快速发现与治理的“闭环”策略,能够提升集群运行的稳定性,同时能够全自动化执行,极大提高效率。

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

最新文章
Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1