(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111636002.6 (22)申请日 2021.12.2 9 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 涂志刚　张正博　朱立远　古昊　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 代理人 严彦 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/277(2017.01) G06T 7/11(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于语义分割的高空抛物检测方法及 系统 (57)摘要 本发明提供一种基于语义分割的高空抛物 检测方法及系统， 包括预先通过知识蒸馏训练轻 量化的语义 分割网络， 从监控视频取无相机抖动 帧， 输入语义分割网络提取建筑物区域， 作为高 空抛物检测的候选区域； 取若干无相机抖动帧， 进行二值化处理， 然后用高斯混合模 型进行背景 建模， 得到当前场景的背景图； 对待检测的当前 帧图像进行相机抖动判断， 若相机不抖动， 则利 用背景使用背景差分法对当前帧图像进行建筑 物区域内的运动检测， 得到运动对象； 对得到的 运动对象进行去噪处理； 对去噪后的候选对象用 匈牙利算法进行目标追踪， 如果能成功追踪， 则 对跟踪轨迹进行判断， 若跟踪轨迹符合高空抛物 的轨迹， 则认为是高空抛物， 进一步得到其抛出 位置和落 点位置。 权利要求书2页 说明书8页 附图2页 CN 114332163 A 2022.04.12 CN 114332163 A 1.一种基于语义分割的高空抛物检测方法， 其特 征在于， 包括以下步骤： S1.预先通过知识蒸馏训练轻量化的语义分割网络， 从监控视频取无相机抖动帧， 输入 语义分割网络提取建筑物区域， 作为高空抛物检测的候选区域； S2.取监控视频的若干无相机抖动帧， 进行二值化处理， 然后用高斯混合模型进行背景 建模， 得到当前场景的背景图； S3.对待检测的当前帧图像进行相机抖动判断， 若相机不抖动， 则利用S2得到的背景使 用背景差分法对当前帧图像进行建筑物 区域内的运动检测， 得到运动对 象， 然后进入步骤 S4； S4.对S3得到的运动对象进行去噪处 理； S5.对去噪后的候选对象用匈牙利算法进行目标追踪， 如果能成功追踪， 则对跟踪轨迹 进行判断， 若跟踪轨迹符合高空抛物的轨迹， 则认为是高空抛物， 进一步得到其抛出位置和 落点位置。 2.如权利要求1所述的一种基于语义分割的高空抛物检测方法， 其特征在于： 所述通过 知识蒸馏训练轻量 化的语义分割网络， 实现方式如下， 在PspNet语义分割网络中， 使用ResNet101作为教师网络， ResNet18作为学生网络， 提 取教师网络的特征图每两个像素之 间的余弦相似度， 再通过知识蒸馏的方式让学生网络学 习这一特点以及教师网络的特 征图； 使用教师网络预训练一个自编码器， 把教师网络的特征图输入到自编码器中， 得到其 高阶特征， 再使用K ‑Means算法进行聚类， 提取每个像素与聚类中心的相 似关系， 并把结果 传入学生网络进行 学习； 提前训练一个新的对抗神经网络， 将学生网络输入到生成网络中， 再使用判别网络判 断学生网络特征图的全局特征是否与教师网络特征图的全局特征一致， 如果一致则说明训 练完成， 否则迭代训练直到一 致。 3.如权利要求1所述的一种基于语义分割的高空抛物检测方法， 其特征在于： 取无相机 抖动帧和对待检测的当前帧图像进行相机抖动判断， 采用同样的方式进行相机抖动判断 时， 实现如下， 对当前输入帧使用背景差分法进行运动目标检测； 计算全部运动目标 区域的个数N， 和每一个区域的最小外包矩形的长x和宽y， 进而计算 出该帧运动目标的最小外包矩形总和S； 如果N＞T1， 或者全部外包矩形的总面积S＞T2， 则认为该帧出现相机抖动情况； T1是预 设的无抖动帧的运动区域总数阈值， T2是预设的无 抖动帧的最小外包矩形总和阈值。 4.如权利要求1所述的一种基于语义分割的高空抛物检测方法， 其特征在于： 所述步骤 S4的实现包括以下子步骤， S401.计算所有运动对象的外包矩形， 作为 候选抛物的运动区域； S402.如果有若干运动区域重合， 则用非极大值抑制的方法得到一个运动面积占比最 大的区域， 并删除其它的区域； S403.计算每一个运动区域外包矩形的面积的中心点坐标集合P OINT， 以每一个运动区 域的中心为原点， 以预设阈值r为半径， 得到一个圆形区域； 计算圆形区域内出现的集合 POINT中的点个数n和最近的两个点之间的距离d， 如果n＜N， d＜D则认 为该圆形区域不是噪权　利　要　求　书 1/2 页 2 CN 114332163 A 2声区域， 保留该圆形区域内的所有运动区域， N是预设 的圆内包含集合POINT中的点的个数 的最大值， D是 预设的圆内包 含集合POINT中最近点的距离 。 5.如权利要求1或2或3或4所述的一种基于语义分割的高空抛物检测方法， 其特征在 于， 所述步骤S5包括以下子步骤： 在当前帧的后Num帧里， 用匈牙利算法进行目标追踪， 如果能够成功跟踪， 则得到后Num 帧中追踪到的候选目标的坐标， 分别计算与上一帧目标的纵坐标差值， 若差值逐渐变大且 横坐标方向运动没有突变， 则认为是高空抛物的运动轨 迹； 其中， Num为预设的数值。 6.一种基于语义分割的高空抛物检测系统， 其特征在于： 用于实现如权利要求1 ‑5任一 项所述的一种基于语义分割的高空抛物检测方法。 7.根据权利要求6所述基于语义分割的高空抛物检测系统， 其特征在于： 包括以下模 块， 第一模块， 用于预先通过知识蒸馏训练轻量化的语义分割 网络， 从监控视频取无相机 抖动帧， 输入语义分割网络提取建筑物区域， 作为高空抛物检测的候选区域； 第二模块， 用于取监控视频的若干无相机抖动帧， 进行二值化处理， 然后用高斯混合模 型进行背景建模， 得到当前场景的背景图； 第三模块， 用于对待检测的当前帧图像进行相机抖动判断， 若相机不抖动， 则利用第二 模块得到的背 景使用背景差 分法对当前帧图像进 行建筑物区域内的运动检测， 得到运动对 象， 然后进入第四模块； 第四模块， 用于对第三模块得到的运动对象进行去噪处 理； 第五模块， 用于对去噪后的候选对象用匈牙利算法进行目标追踪， 如果能成功追踪， 则 对跟踪轨迹进 行判断， 若跟踪轨迹符合高空抛物的轨迹， 则认为是高空抛物， 进一步得到其 抛出位置和落 点位置。 8.根据权利要求6所述基于语义分割的高空抛物检测系统， 其特征在于： 包括处理器和 存储器， 存储器用于存储程序指令， 处理器用于调用存储器中的存储指令执行如权利要求 1‑5任一项所述的一种基于语义分割的高空抛物检测方法。 9.根据权利要求6所述基于语义分割的高空抛物检测系统， 其特征在于： 包括可读存储 介质， 所述可读存储介质上存储有计算机程序， 所述计算机程序执行时， 实现如权利要求 1‑ 5任一项所述的一种基于语义分割的高空抛物检测方法。权　利　要　求　书 2/2 页 3 CN 114332163 A 3