自动找出复杂故障根本原因,阿里AI获智能运维国际竞赛冠军_架构_阿里巴巴达摩院_InfoQ...
source link: https://www.infoq.cn/article/TwBw6NiWx7GpgyNXO88d
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
自动找出复杂故障根本原因,阿里 AI 获智能运维国际竞赛冠军
家里 WIFI 如果发生故障,检查下路由器基本就能发现原因。但对于拥有复杂架构的云计算平台来说,要找出故障原因极为复杂和耗时。阿里打造出根因分析通用框架,利用 AI 快速定位故障根因,已应用于部分云计算产品,节省时间超过一半,准确率超过 80%。该框架也在近期举办的 ICASSP’22 AIOps Challenge 网络智能运维国际竞赛中获得冠军。
ICASSP(International Conference on Acoustics, Speech and Signal Processing)是信号处理领域规模最大的国际学术会议。其中,ICASSP’22 AIOps Challenge 网络智能运维竞赛由香港中文大学(深圳)等机构主办,希望用机器学习等方式来自动找出网络故障的根本原因,此次共有 382 支队伍参赛。由阿里达摩院决策智能实验室和阿里云计算平台组成的团队获得冠军,并受主办方之邀将其中主要算法以论文的形式发表在 ICASSP 上。
阿里团队 MindOps 获得竞赛冠军
所谓根因分析(Root Cause Analysis),是指找到故障的根本原因,这是智能运维 AIOps 的重要研究方向。以云计算平台为例,其稳定性至关重要,但由于架构复杂,模块众多,一旦出现故障,如果纯靠人工来排查费时费力,已难以满足需求。因此,基于机器学习等智能方式的根因分析应运而生。
不过,根因分析的技术门槛颇高,挑战重重。首先是运维数据往往来源于不同系统,形式多样,需要大海捞针找出关键信息。其次是容易被表象迷惑,大型系统中,故障传播的链路往往很长,根本原因可能隐藏在深层次节点中。此外还存在标注样本数据少,异常少见等问题。
阿里打造的根因分析通用框架,解决了上述难题。针对多源异构的海量数据,以时序分析技术来提取关键信息;针对标注样本少,利用时间序列相似性等多种方法来进行数据增强;针对故障传播链路长,运用结合了专家经验和因果图的图算法来找出根本原因。
该框架构建了丰富的算法工具箱和兵器库,已应用于阿里云实时计算、通用计算等多个重要产品中,如 Blink/Flink、MaxCompute、Dataworks 等,帮助运维人员及时发现异常,快速定位问题根因,准确率达 80%以上,相较之前能节省时间一半以上。比如实时计算平台的热点机器问题,会导致负载过高、作业缓慢,其原因链条较长,可能出自硬件故障,也可能是作业本身,人工排查较为耗时,而使用该框架能够快速定位根因。此外,它还能帮助发现较为隐蔽的异常,比如部分机器下线会导致资源不足,迫使一些客户等待排队,这些在常规集群整体作业中难以发现。
根因分析工具箱
此外,基于该框架的一篇论文之前还被国际顶会 CIKM2021 收录,研究人员受邀作 30 分钟的在线演讲(Oral Presentation)。
Recommend
-
4
树莓派:在树莓派上安装OpenCV后运行示例报错《import cv2 ImportError: No module named ‘cv2’》根本原因及解决办法 ...
-
5
干货教程:Coupang的KYC根本不需要复杂的股东名单 ...
-
8
张一鸣:成就感是我创业的根本原因 - 电商报 张一鸣:成就感是我创业的根本原因...
-
1
产品经理如何找出订单被取消的原因? - Advait 产品经...
-
5
编辑导语:号称服务过5000万宝妈用户的蜜芽app,宣布将于9月20日正式关停。作为曾经母婴垂直电商app的领头羊,为什么做不下去了呢?在这篇文章里,作者对这个问题进行了解读,一起看看吧。
-
7
编辑导语:号称服务过5000万宝妈用户的蜜芽app,宣布将于9月20日正式关停。作为曾经母婴垂直电商app的领头羊,为什么做不下去了呢?在这篇文章里,作者对这个问题进行了解读,一起看看吧。
-
2
找出你的站外投放没效果的原因,体验一把销量飙升的Feel! ...
-
3
亚马逊卖家容易被封号的根本原因--以结果为导向-跨境头条-AMZ123亚马逊卖家网址导航 亚马逊卖家容易被封号的根本原因--以结果为导向...
-
5
pGALA 事件的根本原因在于 pGALA 代理合约的 Admin 角色的 owner 私钥在 Github 泄漏 By: Kong据慢雾区情报,11 月 4 日,一个 BNB Chain 上地址凭空铸造了超 10 亿美元的 pGALA 代币,并通过 PancakeSwap 售出获利,...
-
3
这是一个关于银行搞砸了的故事。 原文作者:DeFi Surfer编译:DeFi 之道Silvergate Capital Corp(股票代码:SI,以下简称“Silvergate”)成立于 1986 年,几十年来一直是一家位于拉荷亚的沉寂的社区银行。这一...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK