HC2020丨训练营(1):学件,零通信基础孵化高精度网络AI模型-人工智能-热点资讯-野望文存-科技 
    欢迎来到野望文存-科技!
当前位置:野望文存-科技 > 热点资讯 > 人工智能 >  HC2020丨训练营(1):学件,零通信基础孵化高精度网络AI模型

HC2020丨训练营(1):学件,零通信基础孵化高精度网络AI模型

发表时间:2020-09-20 11:53:00  来源:野望文存  浏览:次   【】【】【



数据不足?

数据分析工具不熟悉?

AI算法不会选?

特征不知怎么提?

参数不会调?

期待使用领域预训练模型?

场景专家经验怎么与算法融合?

模型上线即劣化?


理想的丰满终抵不上现实的骨感,AI技术火热的今天,你想拥抱它的路依然“道阻且长”。幸而你并不孤单,学件陪你一路斩妖除魔,帮你快速提升武力值,直达AI建模胜利彼岸。







1

为什么使用学件


学件的概念始于南京大学周志华教授,学件的初衷是希望在AI模型的基础上,赋予AI模型可重用、可演进、可了解的性能,结合模型规约,使得AI模型真正可用,好用。如何实现AI模型的可重用、可演进、可了解?我们延伸学件的概念,结合AI在网络中应用的经验,从场景分析、数据获取、算法选择、模型训练、模型部署端到端多个环节,利用业界最新的技术解决上述问题。



Figure1学件愿景


数通通信致力于实现数通领域AI模型一站式快速建立,从数据、模型、建模经验等多方面进行积累、共享,用户可灵活应用已有的预训练模型创建个性化新模型,同时支持算法与专家经验的深度融合,满足用户复杂场景的建模需求。


2

学件介绍


2.1学件框架

学件框架从底至上包括:数据/模型管理、数据预处理、算法推荐、模型训练、模型打包、在线推理。预训练模型库、数据特征画像、算法推荐、模型重用、在线优化等模块,帮助使能AI模型可重用、可演进、可了解的特性。


Figure2学件框架 


2.2丰富的特征库、算子库




学件集合了丰富的特征库与算子库,支撑不同的建模场景需求。以时间序列异常检测学件为例,特征库包含三大类,超过100种特征,覆盖了业界常用的时序特征,同时也包含大量网络运维领域特定的特征;基础算法分为无监督、有监督两大类,在常见异常检测算子(Iforest、LOF、Xgboost)等的基础上,增加了基于VAE的深度学习算法、误差抑制等算子,大幅度提升了无监督场景的算法性能。


Figure3异常检测学件特征库、算子库


2.3精准的算法推荐




学件还提供精准的算法推荐,可选择推荐基础算子或预训练模型。由数据特征画像分析数据的类型及数据质量等信息;将场景需求限制转换为算法、特征选择的限制,与算法深度融合;然后结合网络运维领域建模经验和多目标AutoML技术进行推荐基础算子,并进行超参优化,若目标场景的数据量较少,可从预训练模型库选择合适的预训练模型,基于元学习或迁移学习技术实现模型的高效重用。


Figure4学件算法自动推荐


2.4算法与专家经验的深度融合


AI算法在实践应用中,需要与特定场景相关的专家经验融合,才能真正产生良好的效果。我们将专家经验进行分类,在AI建模的不同阶段与算法进行融合,专家经验可分为影响特征、算法选择类的、影响模型超参类以及作为算法影响模型推理类的专家经验。同时学件也为常用的专家经验类型提供专家经验注入模板,方便用户注入专家经验。


Figure5专家经验分类


Figure6专家经验注入模板

 

2.5完善的在线优化方案


工程实践中的场景,很少存在静态封闭的场景,大部分场景会随着时间、地域、环境的变化而变化,AI模型在线部署后,由于数据分布的变化而导致模型劣化的现象非常普遍,为了使能AI模型可演进的特性,学件为所有生成的AI模型配置了完善的在线优化方案,使得AI模型具备在线增量学习及联邦学习能力。


Figure7在线优化方案

 

3

学件在金融运维领域的应用


目前我们实现了网络运维领域的第一个学件——时间序列异常检测学件。为用户提供了简洁的向导式使用方式,用户只需具备简单的建模基础,即可快速构建个性化AI模型,模型生成后提供模型打包服务,模型包可进行直接部署,实现在线推理。

华为与中国银联在2019年成立了金融网络科技联合创新实验室,经过一年的时间,银联与华为在网络运维学件领域的合作取得了卓越的成绩。基于学件构建的流量异常检测、应用流异常检测模型已成功应用于实际生产,同时相关的模型也已作为金融网络运维预训练模型进入学件预训练模型库,可与其他金融领域用户共享。

利用学件进行异常检测建模的指标包含:


时间序列

互联网/财付通/非金接入链路

上行比特率

下行比特率

客户端请求平均传输时间

平均首次响应时延

平均用户响应时间

三次握手平均时间

建链失败率

重传率

经过数据特征画像自动分析,可了解以上时间序列可分为周期平滑型和离散型两大类数据。

 

Figure8周期平滑型数据特征画像


Figure9离散型数据特征画像


学件针对周期平滑型数据推荐了基于高斯过程回归(Gaussian Process Regression, GPR)的算法,并配合误差压抑算法,构建无监督异常检测模型。离散型数据检测难度相对较大,学件推荐了利用Iforest、one-class SVM、LOF、EEP的无监督集成算法,提升算法的检测性能,同时推荐了多种针对离散型数据的特征。


Figure10周期平滑性数据算法推荐


Figure11学件愿景


Figure12离散型数据算法推荐


利用学件构建的多个时间序列异常检测模型已成功应用于实际生产中,模型的查准率可达到93%以上,漏报率小于10%,满足生产需要。


Figure13周期平滑型数据检测结果示例


Figure14离散型数据检测结果示例

 

戳【阅读原文】

预约HC2020 网络人工智能训练营



 网络人工智能园地,力求打造网络领域第一的人工智能交流平台,促进华为iMaster NAIE理念在业界(尤其通信行业)形成影响力!





责任编辑:蔡学森