专利名称:大数据处理方法和装置专利类型:发明专利发明人:王春兰,刘亚超,张朝申请号:CN201910149556.X申请日:20190228公开号:CN111626649A公开日:20200904
摘要:本公开提出一种大数据处理方法和装置,涉及计算机领域。通过获取待处理的多条业务数据,每条业务数据包括根据汇总需要确定的汇总维度描述信息、子维度描述信息和待汇总参数,在并行地对每个汇总维度描述信息的业务数据进行处理的过程中,基于不同的子维度描述信息,将当前汇总维度描述信息的各条业务数据分散到多个集合,利用内存资源依次对各个集合进行待汇总参数的第一次汇总计算,并对各个集合的第一汇总业务数据进行待汇总参数的第二次汇总计算,基于当前汇总维度描述信息对应的第二汇总业务数据进行任务处理。从而,在基于内存计算的大数据并行计算过程中,降低内存资源消耗。
申请人:北京京东尚科信息技术有限公司,北京京东世纪贸易有限公司
地址:100086 北京市海淀区知春路76号8层
国籍:CN
代理机构:中国国际贸易促进委员会专利商标事务所
代理人:许蓓
更多信息请下载全文后查看
因篇幅问题不能全部显示,请点此查看更多更全内容