(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211015618.6 (22)申请日 2022.08.24 (71)申请人 山东捷讯通信技 术有限公司 地址 264200 山东省威海市环翠区羊亭镇 海峰路环翠创新园智能控制研究中心 办公楼 (72)发明人 谷永辉　 (51)Int.Cl. G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/30(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种模糊消除及微光补偿的城市综合管廊 内动物检测方法 (57)摘要 本发明公开了一种模糊消除及微光补偿的 城市综合管廊内动物检测方法， 解决现有技术中 城市综合管廊内部可能出现动物入侵， 老鼠类啮 齿动物啃食管廊内部电力、 通信线路， 造成线路 短路， 引起火灾、 停电等事故， 蛇等动物对管廊维 护人员造成人身安全问题。 本发 明利用综合管廊 内部布设的摄像头， 提出一种应用于城市综合管 廊的动物入侵检测与识别方法， 包括： (1)综合管 廊内部环境存在灯光分布不均且部分照明设备 老化的问题， 需利用深度学习模 型增强图像亮度 及清晰度； (2)在此基础上， 利用深度学习模型 实 现动物检测， 识别动物的类型； (3)通过摄像机地 理信息及编号， 记录摄像机中出现的动物， 并在 该区域段发出报警， 可应用于图像目标检测领 域。 权利要求书3页 说明书7页 附图2页 CN 115393897 A 2022.11.25 CN 115393897 A 1.一种模糊消除及微光补偿的城市综合管廊内动物检测方法， 其特征在于， 包括以下 几个步骤： 步骤1： 调节部分区域的灯光照明， 使得原本照明良好的区域变得昏暗， 或将原本昏暗 的环境变得清晰明亮， 使用摄像头获取清晰版本图像与昏暗模糊版本图像并构建第一数据 集， 并作为模型消除模糊、 微 光补偿功能的训练数据； 步骤2： 建立模糊消除与微光补偿模型， 该模型由编码器网络与解码器网络两个部分组 成； 在编码器网络中， 利用深度卷积神经网络对昏暗模糊的图像进 行特征提取； 在解码 器网 络中， 利用上采样与特 征融合层对提取到的特 征信息进行重构， 并输出清晰明亮的图像； 步骤3： 使用步骤1中构建的第一数据集， 训练并优化消除模糊与微光补偿模型， 然后使 用模型对 城市管廊中的图像进行模糊消除与微 光补偿， 使之变为清晰明亮的图像数据； 步骤4： 利用摄像头获取管廊内图像， 使用步骤2建立的消除模糊与微光补偿对图像进 行修正， 并将修正后的图像中出现的入侵动物进行矩形框标注， 将图像与标注框保存构建 第二数据集， 作为模型目标检测功能的训练数据； 步骤5： 建立野生动物入侵检测模型， 模型由特征提取网络以及分类与回归网络组成； 特征提取网络负责对图像进行特征提取， 分类与回归网络负责预测出动物所在图像位置， 最终输出入侵动物所在管廊区域； 步骤6： 使用步骤4中构建的第二数据集， 训练并优化野生动物入侵检测模型， 将训练好 的模型对摄 像头拍摄的图像进行检测， 输出野生动物所在区域。 2.根据权利要求1所述的一种模糊消除及微光补偿的城市综合管廊内动物检测方法， 其特征在于， 所述步骤1中通过改变区域灯光照明， 获取清晰与昏暗版本的图像， 其具体步 骤如下： 步骤11： 选取照明良好的管廊区域， 通过摄像头获取清晰明亮的图像， 然后将区域灯光 调暗， 获取昏暗模糊的图像； 步骤12： 选取照明昏暗的管廊区域， 通过摄像头获取昏暗模糊图像， 然后将区域灯光调 亮， 获取明亮清晰的图像； 步骤13： 将获取到的Px、 Py一一对应， 并按照7.5:1:1.5的比例分为训练集、 验证集和测 试集。 3.根据权利要求1所述的一种模糊消除及微光补偿的城市综合管廊内动物检测方法， 其特征在于， 所述步骤2， 建立消除模糊与微光补偿模型， 该模型 由编码器网络与解码器网 络两个部分组成； 在编码器网络中， 利用深度卷积神经网络对昏暗模糊的图像进行特征提 取； 在解码 器网络中， 利用上采样与特征融合层对提取到的特征信息进 行重构， 并输出清晰 明亮的图像； 其具体步骤如下： 步骤21： 构建编码器网络， 编码器网络含有四个特征提取层， 每个特征提取层由卷积 层、 激活函数层、 以及一个最大池化层构成， 用于提取输入图像的特征， 并且在前四个特征 提取层设置 跳跃连接块， 将部分特 征层传输至解码器网络， 进行 特征融合； 当监控图像进入编码器网络后会将监控器图像像素补全至600 ×600并进入第一特征 层， 第一特征层中包含两个卷积核大小为64， 卷积核尺寸为3的卷积层， 每个卷积层后接 ReLU激活函数， 并分离出第一跳跃 连接块； 第二特征层中同样包含两个卷积核大小为128的卷积层、 两个ReLU激活函数和一个最权　利　要　求　书 1/3 页 2 CN 115393897 A 2大池化层， 并分离出第二跳跃 连接块； 第三特征层包含三个卷积层、 三个ReLU激活函数与一个最大池化层， 并分离出第三连 接块； 第四特征层包含三个卷积层和三个ReLU激活函数， 第四卷积层不包含最大池化层， 也 不会分离连接块， 其负责与解码器网络进行 数据连接； 步骤22： 构建解码器网络， 解码器负责将编码器网络提取出的特征图进行上采样并与 编码器网络中的跳跃连接块进行特征融合， 实现对图像的模糊消除及微光补偿； 解码器网 络包含四个基本块Block1、 Block2、 Block3， 每个基本块中包含一次上采样(Upsampling)处 理、 一次特征拼接(Concatenate)、 两层卷积层以及两个ReLU激活函数； 解码器网络输入数 据为编码器网络的输出数据， Block1中的卷积层的卷积核数量为512， 尺寸为3； Block2、 Block3的结构与Block1相同， 但每个块中卷积层拥有不同的参数， 且进行特征融合的跳跃 连接块也不同； 在Block2中与编码器网络第三跳跃连接块进行特征融合， 卷积层卷积核数 量为256； Block3中卷积核数量变为64， 并与第1个连接块进行特征融合； 解码器网络末尾 设 置一个1×1卷积， 目的是使模型输入数据与输出数据维度相同， 此时的输出即为去除模糊 且微光补偿后的图像。 4.根据权利要求1所述的一种模糊消除及微光补偿的城市综合管廊内动物检测方法， 其特征在于， 所述步骤4， 将修正后的图像中出现的入侵动物进行矩形框标注， 将图像与标 注框保存构建第二数据集， 作为模型目标检测功能的训练数据， 其具体步骤如下： 步骤41： 采用目标检测标注工具LabelImg对监控图像中的入侵动物进行标注， 利用该 工具框选整个入侵动物目标， 并记录入侵动物目标矩形框坐标， 同时设置动物的类别标签， 然后， 按照LabelImg工具的格式协议将标注的信息存入至XML格式文件中， 具体包括： 目标 标注类别、 目标左上角X和Y坐标、 目标右下角X和Y坐标。 5.根据权利要求1所述的一种模糊消除及微光补偿的城市综合管廊内动物检测方法， 其特征在于， 所述步骤5： 建立动物入侵检测模型， 模型 由特征提取网络以及分类与回归网 络组成； 特征提取网络负责对图像进行特征提取， 分类与回归网络负责预测出动物所在图 像位置， 最终输出入侵动物所在管廊区域， 其具体步骤如下： 步骤51： 特征提取网络使用改进ResNet50深度残差网络用于提取图像特征信息， 原 ResNet50由五个基础块组成， 由于图像在通过步骤2 中搭建的消除模糊与微光补偿模型后 图像像素已补全至 600×600， 故舍弃ResNet5 0第一基础块； ResNet50的基础块由一个一个ConvBlock模块以及若干个IdentityBlock模块组成， ConvBlock和IdentityBlock模块是 ResNet50的两个卷积 模块， 其特有的残差边结构可以避 免随着网络层数的增 加带来的网络退化问题； ResNet50第二基础 块由一个ConvBlock和两个Identit yBlock构成， 第三个基础 块由一 个ConvBlock和三个IdentityBlock构成， 第四个基础块由一个ConvBlock和五个 IdentityBl ock构成， 第五个 基础块由一个Co nvBlock和两个IdentityBl ock构成； 步骤52： 在特征提取网络提取到 的特征图上构建9种不 同长宽比的锚框(Anchor  Box) 使之可以覆盖 输入图像的每 个像素； 步骤53： 构建分类与回归网络， 用于输出入侵动物的类别及所处图像坐标， 分类层与回 归层是两个全连接层， 其输入的参数为ResNet50第五基础块提取出的特征图； 分类层使用权　利　要　求　书 2/3 页 3 CN 115393897 A 3