快讯
英镑对基本面愈发敏感脱欧主题暂时淡出视线
37分钟前
15家上市银行发业绩快报八成净利两位数增长
53分钟前
钢企去年业绩普遍下滑最高预计下滑逾80%
57分钟前
创业板指数再摸高机构抢筹芯片股
58分钟前
科创板"红筹第一股"有哪些看点?
58分钟前
《如龙7》评测:玩起来的确“真香”,但我还是想给它泼点冷水
58分钟前
建设银行吉林省分行一般性存款突破三千亿元
1小时前
通源石油定增3亿元陕西民营发展基金、高新金控身影再现
2小时前
苏宁小店等亏损资产清理、家乐福及阿里套现后,苏宁易购2019盈利同比跌近两成
2小时前
忍者理论心理恐怖新作《Project:MARA》公开宣传视频释出
3小时前
XboxGamePass一月下旬新增游戏公开瘟疫传说、形影不离等
3小时前
《胡闹厨房2》1月23日推出新春主题更新免费向玩家提供
3小时前
95后朋友怎么看?宝马325Li长测(五)
3小时前
《海岛大亨6》评测:亲手规划一个自己专属的海岛
3小时前
用资产减值事项业绩“大洗澡”?科陆电子被疑
3小时前
募资用途多变遭质疑,欢瑞世纪去年预亏超4亿
3小时前
资产减值60亿致巨亏!鹏博士被质疑跨期调整利润
3小时前
31省份2019年房地产投资:广东近1.6万亿居首,4地负增长
3小时前
是否前期业绩虚假或跨期调节利润?实达集团商誉减值等或致2019年巨亏21亿元
3小时前
计商誉减值准备调节利润?润和软件被疑合理性
3小时前
快递行业景气不减,新格局将如何演绎?
3小时前
阿里京东禁止商家口罩涨价,无助公平反加剧短缺,不如实行技术限购
3小时前
3770人是怎么从1500家公司选出海尔智家的?
3小时前
京东推长辈智能手机做拜年神器银发市场有这么好做吗?
3小时前
弹个车,小镇青年新长征路上的“快手”
3小时前
电商平台集体向口罩恶意涨价说“不”
3小时前
美国付费用户增长低于预期奈飞的“增长奇迹”遭迪士尼狙击?
3小时前
瑞幸咖啡:对韭当割,人生几何
3小时前
打破五个季度下降趋势IBM收购红帽见成效?
3小时前
Q3净利润同比下滑60%,好未来“路在何方”?
3小时前

聚焦技术发展及开源生态 腾讯全面揭秘大数据平台演进之路

推荐 2019-11-08 16:01:25

11月7日,腾讯Techo开发者大会的“腾讯大数据”分论坛上,围绕大数据的新技术进展及开源生态,腾讯大数据团队进行了详细解读,包括由集群规模化与异构化挑战所引发的漂移计算等新技术创新,越来越普遍的实时计算需求以及新架构的实践,能够无限弹性扩展的、面向未来的数据湖体系结构,大数据技术发展的新趋势与新挑战等。

腾讯也通过开源和广大开发者共享技术成果,并希望推动业界共同加入构建开源正生态。在前一天的大会主论坛上,腾讯云副总裁、腾讯数据平台部总经理蒋杰博士宣布资源管理平台核心TKE和分布式数据库TBase正式对外开源,腾讯正在走向大数据领域全面开源之路。

QQ截图20191108160014.png

十年技术演进 从引进到自研

蒋杰指出,自2009年起,腾讯大数据平台已完成三次迭代,从以Hadoop为核心的离线计算时代到以Storm、Spark、Flink为核心的实时计算时代,再到如今的机器学习和深度学习时代。经过10年的积累,腾讯大数据平台的算力资源池目前已有超过20万台的规模,每天实时数据计算量超过30万亿条,腾讯已经成为中国实时数据计算量最大的公司。

从开始的技术引进、局部优化到如今的自主创新,腾讯的大数据技术在实践中不断优化、不断完善。随着系统演进和数据增长,异构集群、异构数据源问题凸显,为了降低数据使用壁垒,漂移计算平台研发负责人张韶全博士表示:“腾讯大数据去年自研了漂移计算引擎SuperSQL,满足跨地区、跨集群、跨数据源的联邦数据需求,通过解决数据孤岛、优化资源使用,能够极大地降低数据联合分析的使用门槛,提升数据使用效率,最大化数据使用的价值。”

QQ截图20191108160020.png

(腾讯漂移计算平台研发负责人张韶全博士)

2015年起,腾讯就开始对大数据进行实时化的改造,到现在腾讯内部所有产品都已经广泛开始使用实时计算的模式。据实时计算平台研发负责人施晓罡博士介绍,Oceanus是腾讯基于Flink打造的集开发、测试、部署和运维于一体的一站式可视化实时计算平台。目前Oceanus在内部支持了包括微信、QQ、腾讯游戏、腾讯视频、微信支付、财付通和CDN在内的多个重要产品,并在腾讯云上为公有云和私有云用户提供可靠的实时计算服务。围绕着内部海量业务,oceanus团队同时将现网面临的各类问题以及解决手段反馈给社区,目前已经贡献了超过300多个的patch,为flink稳定性、扩展性、易用性以及高性能做出重要贡献。

QQ截图20191108160027.png

(腾讯实时计算平台研发负责人施晓罡博士)

而随着数据应用越来越深入,腾讯对数据挖掘的需求也越来越多。2015年初,腾讯开始自研高性能的分布式机器学习平台Angel,采用PS架构,能支持10亿维度,目前Angel发展到3.0版本,能支持万亿维度,也可以兼容Spark、PyTorch、TensorFlow等生态。从1.0到3.0,Angel从一个单一的模型训练平台发展到涵盖机器学习各个流程的全栈机器学习平台,并且已应用于微信支付、QQ、腾讯视频、腾讯社交广告及用户画像挖掘等业务。

目前,腾讯正在探索以批流融合、ABC融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。

大数据平台全面开源 助力构建开源生态

今年,在内部开源协同的战略推动下,腾讯在大数据开源领域的开源逐步加速。此次在Techo大会现场,腾讯重磅宣布正式开源资源管理平台核心TKE和分布式数据库TBase,至此完成了腾讯大数据核心能力全开源,并期望推动业界一起构建繁荣的开源生态。

其中,TKE是基于 Kubernetes 的开源容器平台,在大数据,深度学习,通用服务等现网业务的实践和打磨下,可以同时服务公有云和私有云,并且在易用性,可靠性,安全性,通用性等方面领先业界。目前TKE已应用于腾讯内外部游戏、银行、汽车等多项业务。

TBase则是在开源的PostgreSQL基础上自主研发的企业级分布式HTAP数据库管理系统,具备高扩展性、SQL高兼容度、提供分布式

全局事务一致性功能支持、多级容灾能力以及多维度资源隔离能力的高安全性等特征,同时支持关系模型下的在线交易+分析型业务。自2015年上线以来,TBase已在腾讯内外部包括政务、银行、保险、证券、微信支付等多个行业提供底层数据库支撑。

在大数据领域,从2014开始,腾讯将第一代大数据平台的核心,腾讯版的Hive进行了开源,2017年,更是把第三代平台的核心Angel开源并捐献给Linux基金会。2个月前,在ApacheCon 2019上,腾讯面向全球开发者正式宣布开源实时数据采集平台TubeMQ,并捐献给Apache社区。

在蒋杰看来,构建开源生态,一方面可以吸引更多的优秀开发者加入腾讯,一起推动技术研发更加进步;另一方面,整个开源生态的繁荣,能够让开源软件的功能更加完善,也能够更好的支撑腾讯的业务发展。如腾讯不断在云端演进和丰富大数据产品矩阵,目前已有数百万活跃开发者在云端学习、讨论、建设,其联合行业合作伙伴共同打造了覆盖19个行业的100多个行业解决方案,共同服务的客户数达到了20多万家,个人客户60多万家。

“开源是希望更好的回馈社区,希望开源生态能有更大的繁荣,腾讯的大数据将全面开源。”蒋杰表示。


相关文章

{{news.title}}

{{news.author}} {{news.timeFormat}}

正在加载......