(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111488654.X (22)申请日 2021.12.07 (71)申请人 中原动力 智能机器人有限公司 地址 450018 河南省郑州市郑东 新区明理 路尚贤街河南企业联合大厦16层16 01 (72)发明人 袁野　万里红　刘娜　吴国栋　 张赛　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 代理人 郭浩辉　许羽冬 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01)G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 行人识别方法、 装置、 智能机器人及存储介 质 (57)摘要 本申请公开了一种行人识别方法、 装置、 智 能机器人及存储介质， 通过提取目标图像的图像 特征， 根据所述图像特征， 对所述目标图像进行 语义识别， 得到所述目标图像的行人类别， 以分 析目标图像中的行人数量； 并利用预设实例分割 网络， 根据所述图像特征， 对所述目标图像进行 实例分割， 得到所述目标图像的行人实例掩膜， 以采用实例分割方式对行人进行精细分割， 包括 四肢分割， 从而能够根据行人掩膜描述行人的行 为姿态， 以更好地识别行人的行为活动； 最后对 所述行人类别和行人实例掩膜进行叠加， 得到行 人实例分割结果， 以区别不同行人对应的行人实 例掩膜， 从而准确描述每 个行人的行为活动。 权利要求书2页 说明书8页 附图2页 CN 114255476 A 2022.03.29 CN 114255476 A 1.一种行 人识别方法， 其特 征在于， 应用于智能机器人， 所述方法包括： 提取所述智能机器人采集到的目标图像的图像特 征； 根据所述图像特 征， 对所述目标图像进行语义识别， 得到所述目标图像的行 人类别； 利用预设实例分割网络， 根据 所述图像特征， 对所述目标图像进行实例分割， 得到所述 目标图像的行 人实例掩膜； 对所述行 人类别和行 人实例掩膜进行叠加， 得到行 人实例分割结果。 2.如权利要求1所述的行人识别方法， 其特征在于， 所述提取所述智能机器人采集到的 目标图像的图像特 征， 包括： 获取智能机器人采集到的目标图像； 将所述目标图像划分为多个图像网格； 确定所述目标图像中行 人质心所在位置对应的所述图像网格； 对所述图像网格进行 特征提取， 得到所述图像特 征。 3.如权利要求1所述的行人识别方法， 其特征在于， 所述利用预设实例分割 网络， 根据 所述图像特 征， 对所述目标图像进行实例分割， 得到所述目标图像的行 人实例掩膜， 包括： 利用预设的实例分割网络， 根据所述图像特征， 对所述目标图像进行实例分割， 得到所 述目标图像的行 人实例掩码数据； 根据所述图像特征， 对所述目标图像进行边缘检测， 得到所述目标图像的行人边缘数 据； 对所述行 人实例掩码数据和所述行 人边缘数据进行融合， 得到所述行 人实例掩膜。 4.如权利要求3所述的行人识别方法， 其特征在于， 所述利用预设的实例分割 网络， 根 据所述图像特征， 对 所述目标图像进 行实例分割， 得到所述目标图像的行人实例掩码数据， 包括： 利用Mask  Brach网络中的Maskkernelbranch网络层， 根据所述图像特征， 确定用于所 述Mask Brach网络中的Maskfeaturebranc h网络层进行实例分割的卷积核； 利用Maskfeaturebranch网络层， 根据所述卷积核对所述目标图像进行实例分割， 得到 所述目标图像的行 人实例掩码数据。 5.如权利要求3所述的行人识别方法， 其特征在于， 所述根据所述图像特征， 对所述目 标图像进行边 缘检测， 得到所述目标图像的行 人边缘数据， 包括： 利用Canny边缘算法， 根据所述 图像特征， 对所述目标图像进行边缘检测， 得到所述目 标图像的行 人边缘数据。 6.如权利要求1所述的行人识别方法， 其特征在于， 所述目标图像包括多个图像网格， 所述对所述行 人类别和行 人实例掩膜进行叠加， 得到行 人实例分割结果， 包括： 根据目标图像 中的多个图像网格， 对所述行人类别和所述行人实例掩膜进行网格位置 叠加， 得到所述实例分割结果。 7.如权利要求1所述的行人识别方法， 其特征在于， 所述利用预设实例分割 网络， 根据 所述图像特征， 对所述目标图像进行实例分割， 得到所述目标图像的行人实例掩膜之前， 还 包括： 通过智能机器人 上的摄像头采集道路行 人视频； 基于cosin相似度算法， 对所述道路行人视频的每一视频帧进行数据筛选， 得到相似度权　利　要　求　书 1/2 页 2 CN 114255476 A 2大于预设的多帧视频帧， 并将多帧视频帧组合 为数据集； 利用所述数据集， 对预设深度学习 网络进行迭代训练， 直至所述预设深度学习 网络达 到预设收敛 条件， 停止迭代， 得到所述预设实例分割网络 。 8.一种行 人识别装置， 其特 征在于， 包括： 提取模块， 用于提取 所述智能机器人采集到的目标图像的图像特 征； 识别模块， 用于根据 所述图像特征， 对所述目标图像进行语义识别， 得到所述目标图像 的行人类别； 分割模块， 用于利用预设实例分割网络， 根据 所述图像特征， 对所述目标图像进行实例 分割， 得到所述目标图像的行 人实例掩膜； 叠加模块， 用于对所述行 人类别和行 人实例掩膜进行叠加， 得到行 人实例分割结果。 9.一种智能机器人， 其特征在于， 包括处理器和存储器， 所述存储器用于存储计算机程 序， 所述计算机程序被所述处理器执行时实现如权利要求1至7任一项所述的行人识别方 法。 10.一种计算机可读存储介质， 其特征在于， 其存储有计算机程序， 所述计算机程序被 处理器执行时实现如权利要求1至7任一项所述的行 人识别方法。权　利　要　求　书 2/2 页 3 CN 114255476 A 3