(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111571914.X (22)申请日 2021.12.21 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 邓方　朱佳琪　赵佳晨　郑豪　 石翔　高峰　陈杰　 (74)专利代理 机构 北京理工大 学专利中心 11120 专利代理师 田亚琪 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 一种基于蒸馏机制的数据异常检测方法 (57)摘要 本发明公开一种基于蒸馏机制的数据异常 检测方法， 1： 原始数据采集与预处理； 2： 将预处 理的数据压缩编码， 编码器将 输入数据投影到隐 空间得到初始隐藏向量； 3： 将初始隐藏向量输入 隐空间中的聚合模块， 得到地标向量以及各初始 隐藏向量的权重向量， 通过地标向量和权重向量 得到与初始隐藏向量一一对应的约束隐藏向量； 4： 对约束隐藏向量进行蒸馏过滤， 得到只包含正 常模式特征的干净约束隐藏向量； 5： 将干 净约束 隐藏向量解码重构， 得到与输入 数据对应的重构 数据； 6： 利用输入数据和与之对应的重构数据计 算异常分数， 设置异常阈值， 异常分数超过异常 阈值的样 本即为异常样本； 本发 明可自适应地在 训练过程中更新 正常特征， 异常检测准确度高。 权利要求书1页 说明书5页 附图1页 CN 114462617 A 2022.05.10 CN 114462617 A 1.一种基于蒸馏机制的数据异常检测方法， 其特 征在于， 包括以下步骤： 步骤1： 原 始数据采集与预处 理； 步骤2： 将采集后经预处理的数据输入编码器进行压缩编码， 编码器将输入数据投影到 隐空间， 得到隐空间中的初始隐藏向量； 步骤3： 将初始隐藏向量输入隐空间中的聚合模块， 得到地标向量以及各初始隐藏向量 的权重向量， 通过地标向量和权重向量进而得到与初始 隐藏向量一一对应的约束隐藏向 量； 所述地标向量即为特 征原型向量或正常样本的聚类中心； 步骤4： 将地标向量与约束隐藏向量同时输入蒸馏模块， 对约束隐藏向量进行蒸馏过 滤， 得到只包 含正常模式特 征的干净约束隐藏向量； 步骤5： 将干净约束隐藏向量输入到解码器进行解码重构， 得到与步骤2中的输入数据 对应的重构数据； 步骤6： 利用输入数据和与之对应的重构数据计算出重构误差， 将重构误差和权重向量 的熵的加权和作为异常 分数， 设置异常阈值， 异常 分数超过异常阈值的样本即为异常样本 。 2.如权利要求1所述的一种基于蒸馏机制的数据异常检测方法， 其特征在于， 在步骤1 中， 预处理包括删除连续丢失的数据、 对于非连续丢失的数据根据前后数据插值填充、 数据 标准化。 3.如权利要求1所述的一种基于蒸馏机制的数据异常检测方法， 其特征在于， 在步骤3 中， 在所述聚合模块中， 分析正常样本隐平面上的特征， 选取局部密度大于其周围向量的初 始隐藏向量作为特 征原型向量即为 地标向量。 4.如权利要求1所述的一种基于蒸馏机制的数据异常检测方法， 其特征在于， 在步骤3 中， 对于每个输入到聚合模块中的初始隐藏向量， 基于注意力机制， 由若干地标向量加权组 合形成一个与初始隐藏向量对应的约束隐藏向量； 若干地标向量组成一个凸多边形边界； 基于注意力机制的映射操作使得形成的约束隐藏向量即正常特征均 处于地标向量组成的 凸多边形边界内， 最小化正常样本的类内差异并且保证其在隐藏空间中的表示的一致性， 从而更好 地检测异常样本 。 5.如权利要求4所述的一种基于蒸馏机制的数据异常检测方法， 其特征在于， 在步骤4 中， 通过所述蒸馏模块将混入的噪杂实例过滤掉， 使其不参与训练； 在训练过程中， 将隐藏 平面上以地标向量为顶点的凸多边形中心C为圆心， r为半径的区域内的样本删除， 使其不 参与模型的训练； 从而保证模型在训练集中有异常样本 干扰情况 下的异常检测效果。 6.如权利要求5所述的一种基于蒸馏机制的数据异常检测方法， 其特征在于， 在步骤4 中， 自适应地减小半径 r， 收缩过 滤区域的大小， 从而减少训练集中正常样本的损失。 7.如权利要求6所述的一种基于蒸馏机制的数据异常检测方法， 其特征在于， 自适应地 减小半径 r， 具体采用以下公式： rdecayed＝r·e‑ρ·global_step 其中， rdecayed为采用自然指数衰减策略后的蒸馏半径， ρ 为设定的衰减率， global_step 为当前的训练迭代次数， r为设定的初始半径。权　利　要　求　书 1/1 页 2 CN 114462617 A 2一种基于蒸馏机制的数据异常检测方 法 技术领域 [0001]本发明属于信息处理技术领域， 具体涉及一种基于蒸馏机制的数据异常检测方 法。 背景技术 [0002]近年来， 随着人工智能和大数据领域的快速发展， 异常检测作为一个经典且核心 的关键研究， 广泛应用于我们生产生活的各个领域， 比如金融诈骗、 网络攻击、 人体健康检 测、 城市安全建设以及设备故障诊断等。 在异常检测任务中， 通常情况下， 与正常样 本相比， 异常样本往往是极少数 的， 并且异常样本的异常情况是异构且未知的。 这种类别不均衡以 及异常样本的未知和异构特性导致对其进 行标签往往需要 大量的时间成本以及专家知识， 这是非常困难的。 因此， 无监 督的异常检测研究具有重要的现实意 义。 [0003]尽管异常检测任务在多年来一直是活跃的研究领域， 但仍存在 一些独特的复杂性 的挑战。 现有的大部分异常检测方法均假设训练数据是干净 的， 即训练数据全部都是正常 样本。 然而， 真实数据往往是大量正常样本中包含少量异常样本的情况。 而正如前文中说 的， 在大量的正常样本中标记出少量且异构的异常样本是非常困难的。 因此真实情况下往 往存在着错误的标记 为相反类别标签的嘈杂实例， 而现有的方法对于这种情况是非常脆弱 的， 在实际检测过程中易产生误报和漏报的现象。 同时， 现有的异常检测的方法大多忽略正 常样本的多样性， 而在实际情况中， 正常与异常往往都是包含多类的， 即使是只有一类， 也 可能会存在多种不同的特征表 述。 另一方面， 在少数考虑多种正常模式的方法中， 往往需要 人工预定义正常模式的数量， 而无法根据数据样本的特征自适应的得到正常模式的数量。 因此研究一种在有噪声干扰的训练条件下考虑正常样本的多样性且无需人工预定义正常 模式数量的无监 督异常检测方法至关重要。 发明内容 [0004]有鉴于此， 本发明提供了一种基于蒸馏机制的数据异常检测方法， 能够考虑到正 常样本特征 的多样性， 并且可以自适应地在训练过程中更新正常特征及其数量， 异常检测 准确度高。 [0005]实现本发明的技 术方案如下： [0006]一种基于蒸馏机制的数据异常检测方法， 包括以下步骤： [0007]步骤1： 原 始数据采集与预处 理； [0008]步骤2： 将采集后经预处理的数据输入编码器进行压缩编码， 编码器将输入数据投 影到隐空间， 得到隐空间中的初始隐藏向量； [0009]步骤3： 将初始隐藏向量输入隐空间中的聚合模块， 得到地标向量(特征原型向量 即正常样本的聚类中心)以及各初始隐藏向量的权重 向量， 通过地标向量和权重 向量进而 得到与初始隐藏向量 一一对应的约束隐藏向量； [0010]步骤4： 将地标向量与约束隐藏向量同时输入蒸馏模块， 对约束隐藏向量进行蒸馏说　明　书 1/5 页 3 CN 114462617 A 3