(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211013080.5 (22)申请日 2022.08.23 (71)申请人 山东巍然智能科技有限公司 地址 266600 山东省青岛市莱西市重庆路 嘉禾1号801 (72)发明人 魏玲　王胜科　胥志伟　 (74)专利代理 机构 青岛鼎丞智佳知识产权代理 事务所(普通 合伙) 3727 7 专利代理师 王剑伟 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/40(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种建筑物亮化工程检测方法、 设备及存储 介质 (57)摘要 本发明主要提供了一种建筑物亮化工程检 测方法、 设备及存储介质， 方法包括以下步骤： 获 取监控设备拍摄的视频流； 通过帧差法确定是否 有亮度变化的区域； 进行高斯混合模 型背景建模 并最终输出二值化图像； 基于YOLOX目标检测算 法， 对视频流的每帧图像进行建筑物检测并最终 输出二值化图像； 最后将亮度变化区域变化检测 的二值化图像和建筑物检测后处理的二值化图 像做交集操作， 确定最终建筑物亮度变化检测区 域。 本发明基于视频流信息进行背景建模， 对传 统的帧差法进行改进， 实现亮度区域的变化检 测， 检测精度更高； 基于目标检测算法进行建筑 物检测， 得到建筑物亮化区域的变化检测结果， 排除非目标区域的亮度变化干扰， 实现对建筑物 亮化工程的精准实时检测。 权利要求书3页 说明书9页 附图3页 CN 115294456 A 2022.11.04 CN 115294456 A 1.一种建筑物亮化工程检测方法， 其特 征在于， 包括以下步骤： 步骤1， 获取监控设备拍摄的视频流； 步骤2， 通过帧差法确定是否有亮度变化的区域； 步骤3， 进行高斯混合模型背景建模； 当判定没有亮度变化目标时， 将当前帧初始化为 背景模型， 建立高斯混合模型， 并进行实时的更新； 当判定有亮度变化 目标时， 此时的亮度 变化区域包括之前帧被覆盖的背 景区域和当前帧覆盖的背 景区域， 再利用高斯混合模型进 行匹配， 确定当前像素点是否为背景点， 最终输出二 值化图像； 步骤4， 基于YOLOX目标检测算法， 对视频流的每帧图像进行建筑物检测； 所述建筑物检 测的输出为预测框， 根据预测框的中心 点坐标以及宽、 高值， 计算出预测框的左上角坐标和 右下角坐标， 据此对图像进行二 值化处理， 最终输出二 值化图像； 步骤5， 将亮度变化区域变化检测的二值化图像和建筑物检测后处理的二值化图像做 交集操作， 确定最终的建筑物亮化工程检测的区域。 2.如权利要求1所述的一种建筑物亮化工程检测方法， 其特征在于： 所述步骤2中通过 帧差法确定是否有亮度变化区域的具体方法为： 设定视频流的起止时间， 每间隔时间t， 选取一帧图像； 记视频序列中第n帧和第n ‑1帧 图像为fn和fn‑1， 两帧对应像素点的灰度值记为fn(x， y)和fn‑1(x， y)， 两帧图像的时间间隔为 t， 对上述连续的两帧图像进 行差分运算， 不同帧对应的像素点相减， 判断灰度差的绝对值， 当绝对值超过设定的阈值时， 视为区域发生了亮度变化， 即按照下面的公式将两 帧图像对 应像素点的灰度值进行相减， 并取其 绝对值， 得到 差分图像Dn： Dn(x， y)＝|fn(x， y)‑fn‑1(x， y)| 设定阈值T， 按照 如下公式逐个对像 素点进行二值化处理， 得到二值化图像Rn‘， 其中， 灰 度值为255的点即为前景点， 即亮度变化区域点， 灰度值为0的点即为背景点； 对图像Rn‘进 行连通性分析， 最终可 得到含有完整运动目标的图像Rn； 其中， Dn(x， y)表示(x， y)这个像素点在第n帧和第n ‑1帧图像的像素值差； fn(x， y)表示 第n帧图像(x， y)像素点的值； fn‑1(x， y)表示第n ‑1帧图像(x， y)像素点的值； T表示设定的阈 值； Rn‘表示对Dn进行二值化处理后的图像。 3.如权利要求1所述的一种建筑物亮度变化检测方法， 其特征在于： 所述步骤3中高斯 混合模型背景建模的具体过程 为： 高斯分布模型匹配： 每个新像素值Xt同当前K个高斯模型按下面的公式进行比较， 直到找到匹配新像素值的 分布模型， 即同该模型的均值偏差在2.5σ 内； |Xt‑μi， t‑1|≤2.5σi， t‑1 如果所匹配的模式符合背景要求， 则该像素属于背景， 否则属于前 景； 高斯模型的更新： 各模型的权值按如下公式更新， 其 中α 是学习速率， 对于 匹配的模型Mk， t＝1， 否则Mk， t＝ 0， 然后按照各模式的权 重进行归一 化： wk， t＝(1‑α )*wk， t‑1+α *Mk， t权　利　要　求　书 1/3 页 2 CN 115294456 A 2生成高斯模型： 未匹配模型的均值 μ与标准差σ 不变， 匹配模型的参数按照如下公式更新： ρ ＝α * η(Xt| μk， σk) μt＝(1‑ρ )* μt‑1+ρ *Xt 其中， Xt表示时刻t的新像 素值； μi， t表示t时刻第i个高斯模型的均值； σi， t表示t时刻第i 个高斯模型的标准差； α 表示学习速率； wk， t表示时刻t第k个高斯模型的权重； η(Xt| μk， σk)表 示均值为 μk， 标准差为σk的高斯模型； 首先判断高斯分布模型有没有 匹配， 如果没有， 则替换权值最小的模型， 当前像素值取 该模型的均值， 标准差和权重分别取初始较大值和较小值； 各模型根据w/α2按降序排列， 权 重大、 标准差小的模型排列靠前， 选择B个模型作为背景， B满足下面的式子： 其中， 参数T表示背景像素所占比例； b表示高斯 分布模型的个数； wk表示第k个高斯 分布 模型的权 重值。 如果当前帧包含亮度变化区域， 那么就进行混合高斯模型匹配， 得到最终的亮度变化 区域； 如果当前帧不包 含亮度变化区域， 那么就将当前帧更新 为高斯背景模型。 4.如权利 要求1所述的一种建筑物亮化工程检测方法， 其特征在于： 所述步骤4中YOLOX 目标检测算法模型的结构为： 所述YOLOX目标检测 算法模型的backbone使用Darknet ‑53， 由23个残差层、 5个下采样 层和1个输入层 共同组成， 其组成结构均为卷积层卷积核的尺度包括 1×1和3×3， 卷积层的 输出结果依次输入BN层和激活层， 所述激活层 主要通过Leaky  ReLU激活函数实现； 其中， 空 间金字塔池化SPP模块通过最大池化操作将不同尺度的特征融合到一起， 实现数据的多尺 度输入； 所述YOLOX目标检测算法处于backb one主干网络和head检测头之间的neck部分采 用特征金字塔FPN的结构进行融合； 所述FPN 自顶向下， 将高层的特征信息通过上采样的方 式进行传递融合， 得到进行 预测的特 征图。 5.如权利要求1所述的一种建筑物亮化工程检测方法， 其特征在于： 所述步骤5中确定 最终的建筑物亮化工程检测的区域的具体方法为： 亮度变化区域的变化检测结果输出二值 化图像， 像素点的值为0代表背景， 1代表前景； 建筑物检测结果输出为预测框[centerx， centery， w， h]， 根据预测框的中心点坐标以及宽、 高值， 计算出预测框的左上角坐标和右下 角坐标， 据此对图像进行二值化处理， 左上角坐标和右下角坐标确定的区域内的像素点值 置为1， 其余区域的像素点值置为0； 将亮化区域变化检测的二值化图像和建筑物检测后处 理的二值化图像做交集操作， 确定最终的建筑物亮化工程检测的区域， 即最终 图像中像素 值为1的像素区域。 6.一种建筑物亮化工程检测设备， 其特征在于： 所述设备包括至少一个处理器和至少 一个存储器， 所述处理器和存储器相耦合； 所述存储器中存储有计算机程序； 所述处理器执 行所述存储器存储的计算机程序时， 使得所述设备执行如权利要求 1至5中任意一项 所述的权　利　要　求　书 2/3 页 3 CN 115294456 A 3