(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210728997.7 (22)申请日 2022.06.24 (71)申请人 重庆紫光华山智安科技有限公司 地址 400700 重庆市北碚区云汉大道1 17号 附386号 (72)发明人 王磊　汪昊　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张欣欣 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/52(2022.01) (54)发明名称 模型训练及烟雾检测方法、 装置、 电子设备 及存储介质 (57)摘要 本申请实施例涉及深度学习技术领域， 提供 一种模型训练及烟雾检测方法、 装置、 电子设备 及存储介质， 在模型训练过程中， 将输入图像分 配到特征图中的每个特征点进行预测， 既能满足 不同烟雾尺度大小需求， 还能降低网络结构复杂 度并减小计算量， 同时， 对输入图像的烟雾区域 和背景区域进行二值化处理得到二值掩膜图像， 并基于二值掩膜图像生成每个特征点的标签， 可 以去掉背景信息的干扰， 使模型专注于烟雾特征 学习。 这样， 在利用训练后的烟雾检测模型进行 烟雾检测时， 能够克服现有 技术的局限性， 快速、 精准地检测出图像中的烟雾区域。 权利要求书3页 说明书14页 附图7页 CN 115187831 A 2022.10.14 CN 115187831 A 1.一种模型训练方法， 其特 征在于， 所述方法包括： 获取训练集， 其中， 所述训练集包括多个输入图像和每个所述输入图像的二值掩膜图 像， 所述二值掩膜图像采用不同的数值表征 所述输入图像的烟雾区域和背景区域； 将所述训练集输入预先建立的烟雾检测模型， 利用所述烟雾检测模型进行多尺度 特征 提取， 得到所述输入图像的特 征图； 利用所述烟雾检测模型对所述特征图进行预测， 得到所述特征图中的每个特征点映射 到所述输入图像中的区域 为烟雾区域的预测值； 根据所述输入图像的二值掩膜图像， 生成每个所述特征点的标签， 所述标签表征所述 特征点映射到所述输入图像中的区域 为烟雾区域的真实值； 基于每个所述特征点的预测值和标签、 以及预设的损 失函数， 对所述烟雾检测模型进 行训练， 得到训练后的烟雾检测模型。 2.如权利要求1所述的方法， 其特 征在于， 所述获取训练集的步骤， 包括： 获取M个原始图像， 其中， 所述原始图像带标签， 所述标签表征所述原始图像中烟雾区 域的轮廓； 基于所述M个原始图像， 得到多个输入图像， 其中， 所述多个输入图像包括所述M个原始 图像和N个增强图像， 所述N个增强图像是分别对N个原始图像进 行图像增强处理得到的， 且 N≤M； 针对每个所述输入图像， 对所述输入图像的烟雾区域和背景区域进行二值化处理， 生 成每个所述输入图像的二 值掩膜图像。 3.如权利要求1所述的方法， 其特征在于， 所述烟雾检测模型包括三个不同尺度的降采 样单元、 两个不同尺度的上采样单 元和一个输出 单元； 所述利用所述烟雾检测模型进行多尺度特征提取， 得到所述输入图像的特征图的步 骤， 包括： 利用第一个降采样单元对所述输入图像进行特征提取及降采样， 得到第一输入特征 图， 所述第一输入特 征图的大小为所述输入图像的1/8； 利用第二个降采样单元对所述第 一输入特征图进行特征提取及降采样， 得到第 二输入 特征图， 所述第二输入特 征图的大小为所述输入图像的1/16； 利用第三个降采样单元对所述第 二输入特征图进行特征提取及降采样， 得到第 三输入 特征图， 所述第三输入特 征图的大小为所述输入图像的1/ 32； 利用第一个上采样单元对所述第三输入特征图进行特征提取及上采样得到第一中间 特征图， 并将所述第一中间特征图和所述第二输入特征图进行合并得到第一输出特征图， 所述第一中间特 征图和所述第一输出 特征图的大小均为所述输入图像的1/16； 利用第二个上采样单元对所述第一输出特征图进行特征提取及上采样得到第二中间 特征图， 并将所述第二中间特征图和所述第一输入特征图进行合并得到第二输出特征图， 所述第二中间特 征图和所述第二输出 特征图的大小均为所述输入图像的1/8； 利用所述输出单元对所述第 二输出特征图进行特征提取并减少通道数， 得到所述特征 图， 所述特 征图的大小为所述输入图像的1/8且通道数为1。 4.如权利要求1所述的方法， 其特征在于， 所述二值掩膜图像和所述特征图的大小满足 设定降采样率；权　利　要　求　书 1/3 页 2 CN 115187831 A 2所述根据所述输入图像的二 值掩膜图像， 生成每 个所述特 征点的标签的步骤， 包括： 针对每个所述特 征点， 确定所述特 征点映射到所述 二值掩膜图像中的映射区域； 根据所述设定降采样率和所述映射区域中每 个像素点的数值， 利用预设公式 计算所述映射区域内的烟雾占比； 其中， rij表示所述烟雾占比， s表示所述设定降采样率， Mmn表示所述二值掩膜图像中的 第(m,n)个像素点， m和n分别表 示所述像素点的横坐标和纵坐标， i和j分别表 示所述特征点 的横坐标和纵坐标； 根据所述烟雾占比， 生成所述特 征点的标签。 5.如权利要求1所述的方法， 其特 征在于， 所述损失函数为： loss＝∑ylogp+(1‑y)log(1‑p) 其中， y和p分别表示同一特 征点的标签和预测值。 6.一种烟雾检测方法， 其特 征在于， 所述方法包括： 获取待检测图像； 将所述待检测图像输入利用权利要求1 ‑5任一项所述的方法训练后的烟雾检测模型， 得到所述待检测图像的融合特征图、 以及所述融合特征图中每个融合特征点映射到所述待 检测图像中的区域 为烟雾区域的预测值； 针对每个所述融合特征点， 当所述融合特征点的预测值大于预设阈值时， 在所述待检 测图像中确定所述融合特 征点对应的映射区域， 并生成包围所述映射区域的输出框； 对所述待检测图像中的各个输出框进行边框融合， 得到烟雾检测结果。 7.一种模型训练装置， 其特 征在于， 所述装置包括： 训练集获取模块， 用于获取训练集， 其中， 所述训练集包括多个输入图像和每个所述输 入图像的二值掩膜图像， 所述二值掩膜图像采用不同的数值表征所述输入图像的烟雾区域 和背景区域； 处理模块， 用于： 将所述训练集输入预先建立的烟雾检测模型， 利用所述烟雾检测模型进行多尺度 特征 提取， 得到所述输入图像的特 征图； 利用所述烟雾检测模型对所述特征图进行预测， 得到所述特征图中的每个特征点映射 到所述输入图像中的区域 为所述烟雾区域的预测值； 根据所述输入图像的二值掩膜图像， 生成每个所述特征点的标签， 所述标签表征所述 特征点映射到所述输入图像中的区域 为所述烟雾区域的真实值； 训练模块， 用于基于每个所述特征点的预测值和标签、 以及预设的损失函数， 对所述烟 雾检测模型进行训练， 得到训练后的烟雾检测模型。 8.一种烟雾检测装置， 其特 征在于， 所述装置包括： 图像获取模块， 用于获取待检测图像； 预测模块， 用于将所述待检测图像输入利用权利要求1 ‑5任一项所述的方法训练后的 烟雾检测模型， 得到所述待检测图像的融合特征图、 以及所述融合特征图中每个融合特征 点映射到所述待检测图像中的区域属于烟雾区域的预测值；权　利　要　求　书 2/3 页 3 CN 115187831 A 3