(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111646001.X (22)申请日 2021.12.2 9 (71)申请人 南京中科创达软件科技有限公司 地址 210012 江苏省南京市雨 花台区软件 大道109号 4幢601室 (72)发明人 侯佳良　陈晓炬　王邦军　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苏培华 (51)Int.Cl. G06F 11/30(2006.01) G06T 5/00(2006.01) G06T 5/10(2006.01) G06T 7/13(2017.01) G06N 3/04(2006.01) (54)发明名称 一种检测设备运行状态的方法和装置 (57)摘要 本发明公开了一种检测设备运行状态的方 法和装置， 涉及工业视觉技术领域。 所述方法包 括获取目标设备的多帧运行图像， 各帧运行图像 分别包括了空间维度信息， 分别对每帧运行图像 对应的对比图像进行平移， 得到各帧的平移图 像。 分别将每帧运行图像和对应的平移图像进行 对比， 确定每帧对应的差值图像， 差值图像包括 了时间维度信息， 对各差值图像进行边缘处理， 确定特征图像。 对各特征图像分别进行图像分 析， 依据多个状态分析结果确定目标设备的运行 状态是否处于异常运行。 其解决了当前算法延时 性较高的问题， 结合两个维度信息能够以较少的 资源占用和系统运行时间来精确的监测设备运 行的状态， 具有低延时性和低误报率。 权利要求书3页 说明书14页 附图4页 CN 114490247 A 2022.05.13 CN 114490247 A 1.一种检测设备运行状态的方法， 其特 征在于， 所述方法包括： 获取指定时间段内目标设备的多帧运行图像； 分别对每帧运行图像对应的对比图像进行平移， 得到各帧的平移图像， 所述运行图像 的像素点和对应 帧的平移图像的像素点对应， 所述运行图像和对比图像尺寸相同， 所述对 比图像为所述设备运行正常时的图像； 分别将每帧运行图像和对应的平 移图像进行对比， 确定每帧对应的差值图像； 对各差值图像分别进行边 缘处理， 确定多帧特 征图像； 对各特征图像进行图像分析， 得到每帧所述特 征图像的状态分析 结果； 根据多个 状态分析 结果， 确定所述目标设备的运行状态是否处于异常运行。 2.根据权利要求1所述的检测设备运行状态的方法， 其特征在于， 所述对各特征图像进 行图像分析， 得到每帧所述特 征图像的状态分析 结果， 包括： 将每一帧的所述运行图像和对应的特征图像， 分别输入到特征融合模型中进行状态分 析， 确定每一帧的状态分析 结果， 所述状态分析 结果包括： 正常和异常。 3.根据权利要求2所述的检测设备运行状态的方法， 其特征在于， 所述特征融合模型包 括空间流特 征提取网络、 时间流特 征提取网络以及多尺度特 征融合网络； 所述将每一帧的所述运行图像和对应的特征图像， 分别 输入到特征融合模型中进行状 态分析， 确定每一帧的状态分析 结果， 包括： 将每一帧运行图像输入到所述空间流特征提取网络 中处理， 分别得到不同分辨率的多 个运行特征图像； 将所述运行图像对应的特征图像输入到所述 时间流特征提取网络 中处理， 分别得到不 同分辨率的多个目标 特征图像； 将每帧运行图像的多个运行特征图像和对应的特征图像的多个目标特征图像输入到 所述多尺度特 征融合网络中处 理， 得到每一帧对应的状态分析 结果。 4.根据权利要求3所述的检测设备运行状态的方法， 其特征在于， 所述多尺度 特征融合 网络包括第一多尺度 残差融合子网络、 第二多尺度残差融合子网络以及双流特征融合子网 络； 所述将每帧运行图像的多个运行特征图像和对应的特征图像的多个目标特征图像输 入到所述多尺度特 征融合网络中处 理， 得到每一帧的状态分析 结果， 包括： 将每帧运行图像的多个运行特征图像输入到所述第 一多尺度残差 融合子网络中处理， 得到多个运行融合图像； 将每帧运行图像对应的特征图像的多个目标特征图像输入到所述第二多尺度残差融 合子网络中处 理， 得到多个特 征融合图像； 将每一帧对应相同图像分辨率的运行融合图像和特征融合图像进行图像拼接， 得到多 个拼接图像； 向所述双流特征融合子网络输入多个所述拼接图像， 确定每一帧对应的状态分析结 果。 5.根据权利要求4所述的检测设备运行状态的方法， 其特征在于， 所述双流特征融合子 网络包括： 多层卷积层、 池化层、 线性层以及激活函数层； 所述向所述双流特征融合子网络输入所述多 张拼接图像， 确定每一帧对应的状态分析权　利　要　求　书 1/3 页 2 CN 114490247 A 2结果， 包括： 通过所述多层卷积层对所述多张拼接图像进行 卷积操作， 得到卷积处 理结果； 通过所述池化层对所述卷积处 理结果进行池化， 得到池化处 理结果； 通过所述线性层对所述池化处 理结果进行全连接， 得到连接处 理结果； 通过所述激活函数层对所述连接处理结果进行非线性处理， 得到每一帧对应的状态分 析结果。 6.根据权利要求2 ‑5任一项所述的检测设备运行状态的方法， 其特征在于， 所述方法还 包括训练所述特 征融合模型的步骤： 获取所述目标设备处于目标运行状态时， 所对应的运行图像和特 征图像； 将所述对应的运行图像和特征图像输入到待训练 的特征融合模型中处理， 确定状态分 析结果； 依据所述目标运行状态和状态分析结果， 对所述待训练 的特征融合模型的参数进行调 整， 确定出训练完成的特 征融合模型。 7.根据权利要求1所述的检测设备运行状态的方法， 其特征在于， 所述对各特征图像进 行图像分析， 得到每帧所述特 征图像的状态分析 结果， 包括： 确定各特征图像的像素值的平均值； 若所述平均值大于平均阈值， 确定状态分析 结果为异常； 若所述平均值小于或等于平均阈值， 确定所述状态分析 结果为正常； 或者， 所述对各特征图像进行图像分析， 得到每帧所述特征图像的状态分析结果， 包 括： 确定所述特 征图像的像素值的最大值； 若所述最大值大于最大阈值， 确定状态分析 结果为异常； 若所述最大值小于或等于最大阈值， 确定所述状态分析 结果为正常。 8.根据权利要求1 ‑7任一项所述的检测设备运行状态的方法， 其特征在于， 所述根据多 个状态分析 结果， 确定所述目标设备的运行状态是否处于异常运行， 包括： 按照时序确定多个 状态分析 结果对应的分析 数组； 依据所述分析 数组和权 重数组， 确定异常预测值； 若所述异常预测值大于异常阈值， 确定所述目标设备处于异常运行； 若所述异常预测值小于或等于异常阈值， 确定所述目标设备处于正常运行。 9.根据权利要求1所述的检测设备运行状态的方法， 其特 征在于， 所述方法还 包括： 将各所述状态分析 结果， 依次通过堆栈进行存 储。 10.根据权利要求1所述的检测设备运行状态的方法， 其特征在于， 所述分别将每帧运 行图像和对应的平 移图像进行对比， 确定每帧对应的差值图像， 包括： 对每帧运行图像和对应的平 移图像执 行均值平 滑； 分别将经过均值平滑后的每帧运行图像和对应的平移图像进行对比， 确定每帧对应的 差值图像。 11.根据权利要求1所述的检测设备运行状态的方法， 其特征在于， 所述分别对每帧运 行图像对应的对比图像进行平 移， 得到各帧的平 移图像， 包括： 依据相位相关法， 确定出各帧运行图像的像素点与对应的对比图像对应的像素点之间权　利　要　求　书 2/3 页 3 CN 114490247 A 3