NSF Back-end Dev Engineer

AIOps算法

2020-04-20
nsf

AIOps算法

包括指标趋势预测、指标聚类、多指标联动关联挖掘、指标与事件关联挖掘、事件与事件关联挖掘、故障传播关系挖掘。

1.指标趋势预测

通过分析指标历史数据,判断未来一段时间指标趋势及预测值,常 见有 Holt-Winters、时序数据分解、ARIMA 等算法。该算法技术可用于异常检测、 容量预测、容量规划等场景。

2.指标聚类

根据曲线的相似度把多个 KPI 聚成多个类别。该算法技术可以应用于大规模的指标异常检测:在同一指标类别里采用同样的异常检测算法及参数,大幅降低训练和检测开销。常见的算法有 DBSCAN, K-medoids, CLARANS 等,应用的挑战是数据量大,曲线模式复杂。

3.多指标联动关联挖掘

多指标联动分析判断多个指标是否经常一起波动或增长。该算法技术可用于构建故障传播关系,从而应用于故障诊断。常见的算法有 Pearsoncorrelation, Spearman correlation, Kendall correlation 等,应用的挑战为 KPI种类繁多,关联关系复杂。

4.指标与事件关联挖掘

自动挖掘文本数据中的事件与指标之间的关联关系( 比如在程序 A 每次启动的时候 CPU 利用率就上一个台阶)。该算法技术可用于构建故障传播关系,从而应用于故障诊断。常见的算法有 Pearson correlation, J-measure,Two-sample test 等,应用的挑战为事件和 KPI 种类繁多,KPI 测量时间粒度过粗会导致判断相关、先后、单调关系困难。

5.事件与事件关联挖掘

分析异常事件之间的关联关系,把历史上经常一起发生的事件关联在一起。该算法技术可用于构建故障传播关系,从而应用于故障诊断。常见的算法有 FP-Growth, Apriori,随机森林等,但前ᨀ是异常检测需要准确可靠。

6.故障传播关系挖掘

融合文本数据与指标数据,基于上述多指标联动关联挖掘、指标与事件关联挖掘、事件与事件关联挖掘等技术、由 tracing 推导出的模块调用关系图、辅以服务器与网络拓扑,构建组件之间的故障传播关系。该算法技术可以应用于故障诊断,其有效性主要取决于其基于的其它技术。


上一篇 python-demo集合

下一篇 django-form

Comments

Content