天眼查App显示,2025年7月8日,「基于分布式文件模型的数据处理方法、装置与电子设备」专利正式进入专利的公布阶段。申请人为中国邮政储蓄银行股份有限公司,该项计算专利涉及大数据处理技术场景下的系统优化方案。据专利信息显示,该技术通过改进数据分区策略和存储结构设计,使系统吞吐量在大规模数据环境下获得显著优化,有效降低响应延迟。发明人为张世彬、章松、闵星、黄玉来、丁伟。本申请提供了一种基于分布式文件模型的数据处理方法、装置与电子设备。包括:获取源数据确定当前作业类型,对数据仓库的目标参数和内存计算引擎的参数进行配置;对源数据进行筛选处理得到数据字段,建立HBase数据表与数据字段的映射关系;对数据文件处理形成原始分布式数据集,获取HBase数据表中存储单元区间,并根据存储单元区间对原始分布式数据集分区进行重分区处理得到分区分布式数据集;将分区分布式数据集中键值对映射为HBase的数据存储基本单元,将源数据输入数据存储基本单元,标记数据存储基本单元得到标记存储基本单元,对源数据执行写入或删除操作。解决现有技术数据量较大时系统吞吐量较低导致响应延迟高的问题。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。