快讯
美国银行:供应紧缩可能意味着钯金今年再上涨50%
1小时前
美国12月新建住宅销售降至五个月低点未达预期水平
1小时前
跑一次高速损失4000元,长途驾驶你得注意以下几点
2小时前
《地铁大逃亡》新DLC“山姆的故事”将于2月11日配信
4小时前
春节特辑居家七座SUV编辑喜欢谁?
4小时前
A股及港股通2月3日起正常交易,港股仍定1月29日开市
5小时前
百威(01876)围困高端
5小时前
想给家人最安全的SUV?不必只盯着沃尔沃
5小时前
阿里上线“抗击疫情”专题页,可在线问诊送药上门
6小时前
蛋壳公寓为武汉医护人员提供专属免费住房
6小时前
致敬与时间赛跑者——刚刚,光明乳业补给物资送达火神山、雷神山医院
6小时前
上交所:延长2020年春节休市至2月2日
6小时前
《啪嗒砰2高清版》公开宣传片1月30日登陆PS4平台
6小时前
Porsche993真是美若天仙,真想谈好价码立刻带她回家
7小时前
改写游戏规则!现代SuperElantra柴油体验
7小时前
「最强」钢炮王也要「电控」涡轮上身?!
7小时前
《仁王2》桶狭间试玩演示捏人大赛FF14制作人吉田P登场
7小时前
抗击疫情,驰援湖北!艾上AI教育捐赠3亿元智能课程在行动
7小时前
华润置地:已募集员工捐款13396笔约295万元
7小时前
这绝对是真爱参观私人马自达博物馆
7小时前
雷科技2019年度十佳小家电榜单出炉,款款都是精品
8小时前
标致的良心之作,销量始终低迷,这次配无框车门卷土重来
8小时前
都有爆款潜质四款纯电动车竞争力分析
8小时前
中国化工与中化集团筹划战略重组
8小时前
荷兰交通部:Jeep/铃木车辆涉排放作弊
9小时前
阿里巴巴推出“疫情服务直通车”,一键办事不出门
9小时前
武汉封城72小时,那些“逆行”请战的互联网人
9小时前
快手春晚撒币10亿元,能留住什么?
9小时前
360已采购1000余万元医疗物资第二批援助物资今日发货
9小时前
互动式冒险游戏《吾妻邸怪谈》将于1月31日登陆Steam平台
10小时前

腾讯大数据平台每日数据计算量超30万亿

费倩文 2019-11-06 21:12:19

DoNews11月6日消息  (记者 费倩文)11月6日,在Techo开发者大会上,腾讯云副总裁、腾讯数据平台部总经理蒋杰表示,经过10年的积累,腾讯大数据平台的算力资源池目前已有超过20万台的规模,每天实时数据计算量超过30万亿条,腾讯已经成为中国实时数据计算量最大的公司。

上述数据背后是腾讯大数据平台技术过去10年的不断演进。据蒋杰介绍,腾讯的数据量在短短5、6年时间增长了几千倍,目前每天产生的数据量超过几十万亿条数据在产生。为了应对这种爆炸式增长,腾讯走出了一条技术引进+改造+自研的道路,在过去10年间,腾讯大数据平台已经经历了四代演进。

从以Hadoop为核心的离线计算时代到以Spark、Storm、Flink为核心的实时计算时代,再到如今的机器学习和深度学习时代,腾讯从无到有研发了分布式的机器学习引擎Angel,以及一站式AI开发平台智能钛TI,用来解决数据训练和算法的问题。目前,腾讯正在研究以批流融合、ABC融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。

蒋杰表示,从开始的技术引进、局部优化到如今的自主创新,腾讯的大数据技术也在实践中不断完善和创新。“十年前,腾讯管理几百个节点都很困难,调度性能差,规模上不去。后来为了有效解决计算能力和大规模集群问题,腾讯自研调度器,相对原生调度器性能提升150倍,大大提升了集群可扩展性。现在,腾讯大数据平台每天有1500万个分析任务,每天数据接入条数达35万亿条数据。”

2个月前,腾讯在ApacheCon 2019上,面向全球开发者正式宣布开源自身核心平台——实时数据采集平台TubeMQ,并捐献给Apache社区。此次在Techo大会现场,再次重磅宣布正式开源资源管理平台核心TKE和分布式数据库TBase,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商。

“目前,已经有数百万的开发者在腾讯云上构建应用,相信后面会有越来越多开发者加入,我们将和所有开发者一起,共建云上的应用生态”,蒋杰表示。(完)

相关文章

{{news.title}}

{{news.author}} {{news.timeFormat}}

正在加载......