腾讯正式开源图计算框架Plato,十亿级节点图计算进入分钟级时代
source link: https://www.jiqizhixin.com/articles/2019-11-14-9
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
腾讯开源再次迎来重磅项目,14日,腾讯正式宣布开源高性能图计算框架Plato,这是在短短一周之内,开源的第五个重大项目。
相对于目前全球范围内其它的图计算框架,Plato可满足十亿级节点的超大规模图计算需求,将算法计算时间从天级缩短到分钟级,性能全面领先领先于其它主流分布式图计算框架,并且打破了原本动辄需要数百台服务器的资源瓶颈,现在,最少只需要十台服务器即可完成计算。
腾讯Plato团队负责人于东海表示:“Plato已经赋能腾讯内部包括微信在内的众多核心业务,尤其是为腾讯超大规模社交网络图数据的各类计算提供支撑,解决了现有其他计算框架无法在有限资源和有限时间内完成计算的难点。Plato不仅为腾讯创造了巨大的业务价值,开源后还将持续推动图计算技术和行业的协同发展,加速创新。”
实际上,图计算的“图”并不是指普通的图像和照片,而是用于表示对象之间关联关系的一种抽象数据结构,图计算就是以图作为数据模型来表达问题并予以解决的过程。图计算可以将不同来源、不同类型的数据融合到同一个图里进行分析,得到原本独立分析难以发现的结果,因此成为社交网络、推荐系统、网络安全、文本检索和生物医疗等领域至关重要的数据分析和挖掘工具。
Plato是腾讯内部图计算TGraph团队整合内部资源自主研发的一款高性能图计算框架,取名Plato是为了致敬伟大的数学家柏拉图,目前腾讯云大数据团队正在封装Plato,即将对所有开发者开放使用。
据了解,Plato的计算性能方面极其强悍,比目前市场上最为领先的图计算框架Spark GraphX还高出1-2个数量级,它将算法计算时间从天级缩短到分钟级,性能提升数十倍,也标志着图计算全面进入分钟级时代;另外一个巨大优势是,Plato在内存消耗方面远小于主流的图计算框架,比Spark GraphX减少1-2个数量级,仅需10台服务器左右的中小规模集群,即可完成超大规模图计算,相比此前动辄需要数百台服务器的限制,资源压力和计算成本都得到了极大降低。
目前,Plato主要提供两大核心能力:腾讯数据量级下的离线图计算和腾讯数据量级下的图表示学习。同时Plato天然适配Kubernetes、YARN等资源调度平台,并提供支持主流文件系统的多种接口,能为开发者提供更友好的运行环境。
架构设计上,Plato框架的核心是自适应图计算引擎,它能够根据不同类型的图算法,提供多种计算模式供开发者灵活选择,包括自适应计算模式、共享内存计算模式和流水线计算模式等。另外,还设计了良好的接口支持接入新的计算通信模式。
Plato整体架构图
在计算引擎之上,Plato为算法设计者或具体的业务提供多层次接口:从底层的API,到图算法库,再到为具体业务量身打造的“解决方案”——图工具集。通过这些应用层的接口和工具,Plato还可以把离线计算结果与其他机器学习算法相结合,共同支撑顶层的不同业务。
值得一提的是,目前Plato的算法库中的图特征、节点中心性指标、连通图和社团识别等多种算法都已经开源,未来还将进一步开源更多的算法。
Plato高性能、可扩展、易插拔的特性在社交网络、推荐系统、生物医疗等领域应用前景广阔,例如定期对网页进行影响力排序以提升用户的搜索体验、分析庞大的社交网络结构以便精准地为用户推荐服务、通过子图匹配等方式了解蛋白质间的相互作用从而研制更有效的临床医药等。
自去年930架构调整以来,开源成为腾讯技术发展的重要战略之一,重磅项目密集开源,就在上周的Techo开发者大会上,腾讯正式宣布TubeMQ、Tencent Kona JDK、TBase、TKEStack四大重点项目同时开源。随着Plato的开源,腾讯在开源领域的又添大动作。据悉,腾讯已经在Github上已经开源了86个项目,超过1000个贡献者参与了开源贡献,拥有超过25万个Star数,在Github全球公司贡献榜上排名前十。
Plato开源地址:https://github.com/tencent/plato
Recommend
-
88
各位同学,早上好,我是你们的老朋友D_clock爱吃葱花,前些天忙着发版本,最近也在看各种各样的新知识,有好多东西想写啊啊啊啊啊。嗯,先冷静捋一下,卖个关子。扯回正题,今天继续为大家推荐一个Github上的开源框架——QMUI Android,出品自腾讯广州研发部QMUI团队。...
-
54
EOS主网区块链已正式激活上线。 6月15日凌晨1:50分,EOS主网区块链投票率成功超过所需要的15%,确定了第一批维护这个分布式网络的个体...
-
26
作者:hunteryu,腾讯 WXG 后台开发工程师 Plato 简介 腾讯高性能图计算框架 Plato 图...
-
35
Tars是基于名字服务使用Tars协议的高性能RPC开发框架,同时...
-
10
腾讯开源服务器框架Tars安装使用 2017/04/17 · Leave...
-
4
HECO全球节点竞选正式开启用户投票阶段 • 11 小时前 碳链价值APP讯,6月10日,...
-
3
B站广告收入单季首次破十亿,腾讯Q2网络广告营收228亿元>>本周动态 作者: Garbo...
-
2
OpenStack实战八——Neutron计算节点部署1. 安装组件[root@linux-node2 ~]# yum install -y openstack-neutron-linuxbridge ebtables ipset2. 计算节点Neutron配置2.1 编辑
-
5
超大规模的企业级微服务 HTTP 框架 — Hertz 正式开源!By CloudWeGo | Tuesday, June 21, 2022今天,经过了字节跳动内部一年多的使用和迭代,高性能企业级 HTT...
-
7
国内首个基于 Rust 语言的 RPC 框架 — Volo 正式开源!By CloudWeGo | Tuesday, August 30, 2022Volo 是字节跳动服务框架团队研发的轻量级、...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK