(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210688810.5 (22)申请日 2022.06.17 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 姬东飞　杜雨亭　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 罗岚 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/25(2022.01) G06V 10/762(2022.01) G06V 20/40(2022.01) G06V 10/77(2022.01) (54)发明名称 目标行为识别方法、 装置、 电子设备及存储 介质 (57)摘要 本公开提供了目标行为识别方法、 装置、 电 子设备及存储介质， 涉及人工智 能技术领域， 尤 其涉及图像处理和 智能视频分析等技术领域， 可 应用于智能云、 智慧城市、 城市治理和智能城管 场景下。 具体实现方案为： 对采集的视频流进行 抽帧， 获取N个目标图像帧， 并对目标图像帧进行 行为识别， 获取目标图像帧上的行为检测框， 对 行为检测框进行聚类处理， 获取M个聚类簇， 获取 图像帧上的感兴趣区域， 并基于感兴趣区域和聚 类簇中包括的行为检测框， 确定目标行为检测 框。 本公开通过对视频流抽帧得到的目标图像帧 进行行为识别以获取行为检测框并进行聚类处 理得到聚类簇， 基于感兴趣区域和行为检测框确 定目标行为检测框， 提高了识别结果的准确度， 增强了识别效果。 权利要求书3页 说明书10页 附图6页 CN 114943936 A 2022.08.26 CN 114943936 A 1.一种目标 行为识别方法， 包括： 对采集的视频流进行抽帧， 以获取N个目标图像帧， 并对所述目标图像帧进行行为识 别， 以获取 所述目标图像帧上的行为检测框， 其中， 所述 N为正整数； 对所述行为检测框进行聚类处 理， 获取M个聚类簇， 其中， 所述M均为 正整数； 获取所述图像帧上的感兴趣区域， 并基于所述感兴趣区域和所述 聚类簇中包括的行为 检测框。 2.根据权利要求1所述的方法， 其中， 所述基于所述感兴趣区域和所述 聚类簇中包括的 行为检测框， 确定目标 行为检测框包括： 从所述聚类簇中的候选行为检测框中， 确定出候选行为检测框； 确定与所述感兴趣区域存在区域重 叠的候选行为检测框为所述目标 行为检测框 。 3.根据权利要求2所述的方法， 其中， 所述从所述聚类簇中的行为检测框中， 确定出候 选行为检测框， 包括： 获取每个所述聚类簇中包括的候选行为检测框的数量， 并基于所述数量从所述M个聚 类簇中筛 选出预告警聚类簇； 从所述预告警聚类簇中识别出时间戳最近的候选行为检测框， 作为所述候选行为检测 框。 4.根据权利要求2或3所述的方法， 其中， 所述确定目标 行为检测框之后， 还 包括： 基于所述目标行为检测框的位置信 息和所述感兴趣区域的位置信 息， 获取重叠区域的 面积； 响应于所述重 叠区域的面积大于设定阈值， 生成告警信息 。 5.根据权利要求 4所述的方法， 其中， 所述 生成所述告警信息， 包括： 对所述感兴趣区域进行目标检测， 以获取 所述感兴趣区域内的实体目标； 获取所述实体目标的联系信息， 并基于所述联系信息， 向所述实体目标发送所述告警 信息。 6.根据权利要求1 ‑3中任一项所述的方法， 其中， 所述对采集的视频流进行抽帧， 以获 取N个目标图像帧， 包括： 对所述视频流进行间隔或连续的抽帧， 以获取N个源图像帧； 对所述N个源图像帧进行 预处理， 得到预处 理后的所述 N个目标图像帧。 7.根据权利要求6所述的方法， 其中， 所述对所述N个源图像帧进行预处理， 得到预处理 后的所述 N个目标图像帧， 包括： 对所述N个源图像帧进行缩放， 以得到缩放至目标尺寸的N个第一图像帧； 对所述N个第一图像帧的像素值进行归一化， 并减去像素值的均值， 得到N个第二图像 帧； 获取所述N个第 二图像帧的像素值的方差， 并将所述N个第 二图像帧的像素值除以所述 方差， 得到所述 N个目标图像帧。 8.根据权利要求5所述的方法， 其中， 所述向所述实体目标发送所述告警信息之后， 还 包括： 基于所述视频流的采集 位置， 获取 所述采集 位置所隶属的网格区域； 对后续视频流继续进行行为识别， 以获取所述后续视频流中后续图像帧上的行为检测权　利　要　求　书 1/3 页 2 CN 114943936 A 2框； 响应于所述后续图像帧上的行为检测框 中存在所述目标行为检测框， 则向所述网格区 域对应的管理服 务端发送提醒信息 。 9.一种目标 行为识别装置， 包括： 抽帧模块， 用于对采集的视频流进行抽帧， 以获取N个目标图像帧， 并对所述目标图像 帧进行行为识别， 以获取 所述目标图像帧上的行为检测框， 其中， 所述 N为正整数； 聚类模块， 用于对所述行为检测框进行聚类处理， 获取M个聚类簇， 其中， 所述M均为正 整数； 确定模块， 用于获取所述图像帧上的感兴趣区域， 并基于所述感兴趣区域和所述聚类 簇中包括的行为检测框， 确定目标 行为检测框 。 10.根据权利要求9所述的装置， 其中， 所述确定模块， 进一 步用于： 从所述聚类簇中的候选行为检测框中， 确定出候选行为检测框； 确定与所述感兴趣区域存在区域重 叠的候选行为检测框为所述目标 行为检测框 。 11.根据权利要求10所述的装置， 其中， 所述确定模块， 进一 步用于： 获取每个所述聚类簇中包括的候选行为检测框的数量， 并基于所述数量从所述M个聚 类簇中筛 选出预告警聚类簇； 从所述预告警聚类簇中识别出时间戳最近的候选行为检测框， 作为所述候选行为检测 框。 12.根据权利要求10或1 1所述的装置， 其中， 还 包括： 第一获取模块， 用于确定目标行为检测框之后， 基于所述目标行为检测框的位置信息 和所述感兴趣区域的位置信息， 获取重 叠区域的面积； 生成模块， 用于响应于所述重 叠区域的面积大于设定阈值， 生成告警信息 。 13.根据权利要求12所述的装置， 其中， 所述 生成模块， 进一 步用于： 对所述感兴趣区域进行目标检测， 以获取 所述感兴趣区域内的实体目标； 获取所述实体目标的联系信息， 并基于所述联系信息， 向所述实体目标发送所述告警 信息。 14.根据权利要求9 ‑11中任一项所述的装置， 其中， 所述抽帧模块， 进一 步用于： 对所述视频流进行间隔或连续的抽帧， 以获取N个源图像帧； 对所述N个源图像帧进行 预处理， 得到预处 理后的所述 N个目标图像帧。 15.根据权利要求14所述的装置， 其中， 所述抽帧模块， 进一 步用于： 对所述N个源图像帧进行缩放， 以得到缩放至目标尺寸的N个第一图像帧； 对所述N个第一图像帧的像素值进行归一化， 并减去像素值的均值， 得到N个第二图像 帧； 获取所述N个第 二图像帧的像素值的方差， 并将所述N个第 二图像帧的像素值除以所述 方差， 得到所述 N个目标图像帧。 16.根据权利要求13所述的装置， 其中， 还 包括： 第二获取模块， 用于基于所述视频流的采集位置， 获取所述采集位置所隶属的网格区 域； 第三获取模块， 用于对后续采集的视频流继续进行行为识别， 以获取所述后续视频流权　利　要　求　书 2/3 页 3 CN 114943936 A 3