快讯
大湾区前沿医疗科技高峰论坛首届峰会在珠海举办
37分钟前
采用溜背设计广汽传祺GS4Coupe发布
39分钟前
四大举措新特汽车发布创新零售3.0战略
39分钟前
内饰小调整全新传祺GS4插电混动版首发
39分钟前
【行业揭秘】黄金分析师靠什么赚钱?如何鉴别真伪??
48分钟前
核聚变回顾:我们见到了B站的眼光独到,也看到了玩家的热情洋溢
48分钟前
汇纳科技荣获CMMI3认证研发实力获国际认可
49分钟前
国家发改委:供暖季期间中国居民用气不涨价
49分钟前
厦门空港口岸将迎全面电子货运时代
49分钟前
冉茗玉:11.15黄金空头发力,黑五收线需谨防黑天鹅
50分钟前
这届双11,是一盏“阿拉丁神灯”
50分钟前
秦梓昕:黄金投资资金管理的重要性--做交易,保命最要紧!
51分钟前
深圳高交会刮起5G应用风业界看好应用前景
59分钟前
比亚迪将向哥伦比亚交付超300辆纯电客车;宝马新电芯技术中心投入使用;奇点汽车大股东转让股权
1小时前
贝莱德Q3持仓微软超700亿持续押注科技和金融股
1小时前
阿里云获评亚太领军智慧城市服务商多家合作伙伴获奖
1小时前
中国银行首发粤澳共享贷
1小时前
你了解天然钻石吗!首届世界珠宝发展大会举行
1小时前
阎志正式执掌华中数控以此进军高端装备制造领域
1小时前
国科微与中移物联网签署战略合作协议唱响“5G+IoT”
1小时前
品质领航,冠德五星燃油上市肇庆韶关
1小时前
刘敬灿:黄金美盘精准布局,百分之百胜率带领玩转美盘!
1小时前
报告:去年北京民企科技创新百强研发投入同比增长近五成
1小时前

腾讯大数据平台每日数据计算量超30万亿

费倩文 2019-11-06 21:12:19

DoNews11月6日消息  (记者 费倩文)11月6日,在Techo开发者大会上,腾讯云副总裁、腾讯数据平台部总经理蒋杰表示,经过10年的积累,腾讯大数据平台的算力资源池目前已有超过20万台的规模,每天实时数据计算量超过30万亿条,腾讯已经成为中国实时数据计算量最大的公司。

上述数据背后是腾讯大数据平台技术过去10年的不断演进。据蒋杰介绍,腾讯的数据量在短短5、6年时间增长了几千倍,目前每天产生的数据量超过几十万亿条数据在产生。为了应对这种爆炸式增长,腾讯走出了一条技术引进+改造+自研的道路,在过去10年间,腾讯大数据平台已经经历了四代演进。

从以Hadoop为核心的离线计算时代到以Spark、Storm、Flink为核心的实时计算时代,再到如今的机器学习和深度学习时代,腾讯从无到有研发了分布式的机器学习引擎Angel,以及一站式AI开发平台智能钛TI,用来解决数据训练和算法的问题。目前,腾讯正在研究以批流融合、ABC融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。

蒋杰表示,从开始的技术引进、局部优化到如今的自主创新,腾讯的大数据技术也在实践中不断完善和创新。“十年前,腾讯管理几百个节点都很困难,调度性能差,规模上不去。后来为了有效解决计算能力和大规模集群问题,腾讯自研调度器,相对原生调度器性能提升150倍,大大提升了集群可扩展性。现在,腾讯大数据平台每天有1500万个分析任务,每天数据接入条数达35万亿条数据。”

2个月前,腾讯在ApacheCon 2019上,面向全球开发者正式宣布开源自身核心平台——实时数据采集平台TubeMQ,并捐献给Apache社区。此次在Techo大会现场,再次重磅宣布正式开源资源管理平台核心TKE和分布式数据库TBase,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商。

“目前,已经有数百万的开发者在腾讯云上构建应用,相信后面会有越来越多开发者加入,我们将和所有开发者一起,共建云上的应用生态”,蒋杰表示。(完)

相关文章

{{news.title}}

{{news.author}} {{news.timeFormat}}

正在加载......