(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111677068.X (22)申请日 2021.12.31 (71)申请人 特斯联科技 集团有限公司 地址 101100 北京市通州区滨惠北一 街3号 院1号楼1- 6室 (72)发明人 冯琰一　徐博诚　聂虎　周涛　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 李小朋 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种行为识别方法、 装置、 存 储介质及终端 (57)摘要 本发明公开了一种行为识别方法、 装置、 存 储介质及终端， 方法包括： 获取待识别的目标图 像； 根据目标图像生成人体图像以及人体各个部 位图像； 将目标图像、 人体图像以及人体各个部 位图像输入预先训练的行为识别模型中； 其中， 预先训练的行为识别模型是基于标注身体部位 编码的行为图像训练生成的； 输出人体图像的人 体部位以及人体部位对应的行为。 由于本申请采 用标注身体部位编码的行为图像训练行为识别 模型， 使得模 型能充分捕获身体部位级别的相关 细粒度知识， 同时导致模型容易泛化， 从而提升 了模型的识别性能。 权利要求书2页 说明书12页 附图2页 CN 114511877 A 2022.05.17 CN 114511877 A 1.一种行为识别方法， 其特 征在于， 所述方法包括： 获取待识别的目标图像； 根据所述目标图像生成人体图像以及人体各个部位图像； 将所述目标图像、 人体图像以及人体各个部位图像输入预先训练的行为识别模型中； 其中， 所述预 先训练的行为识别模型 是基于标注身体部位编码的行为图像训练生成的； 输出所述人体图像的人体部位以及所述人体部位对应的行为。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标图像生成人体图像以及 人体各个部位图像， 包括： 将所述目标图像输入物体 检测器中， 输出 所述目标图像中的人体框坐标； 根据所述人体框坐标截取人体图像， 并将所述人体图像输入预先训练 的姿态估计网络 中， 输出人体各个部位框； 基于所述人体各个部位框截取 人体各个部位图像。 3.根据权利要求1所述的方法， 其特征在于， 按照以下步骤生成预先训练 的行为识别模 型， 包括： 收集以人为中心 的行为图像， 并对以人为中心 的行为图像标注身体部位编码， 得到原 始行为识别数据集； 从所述原始行为识别数据集中划分出训练集， 并调整所述训练集中图像的亮度， 得到 模型训练样本； 将所述模型训练样本进行 数据增强， 得到增强后的数据样本； 采用复合主干网络创建行为识别模型， 并根据增强后的数据样本以及所述行为识别模 型进行身体部位状态 识别和特 征提取， 得到身体部位状态 识别结果和身体部位特 征； 根据所述身体部位状态 识别结果和身体部位特 征计算目标损失值； 当所述目标损失值到 达预设阈值时， 生成预 先训练的行为识别模型。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述身体部位状态识别结果和身 体部位特 征计算目标损失值， 包括： 根据所述身体部位特 征计算所述身体部位动作评分； 根据所述身体部位状态 识别结果与所述身体部位动作评分计算出 预测概率分布； 获取增强后的数据样本的真实概 率分布和预 先标记的真实框坐标； 根据所述预测概 率分布与所述真实概 率分布计算第一交叉熵损失值； 根据所述预 先标记的真实框坐标计算第二交叉熵损失值； 基于所述第一交叉熵损失值和所述第二交叉熵损失值计算出目标损失值。 5.根据权利要求3所述的方法， 其特征在于， 所述当所述目标损 失值到达预设阈值时， 生成预先训练的行为识别模型， 包括： 当所述目标损失值未到达预设阈值 时， 将所述目标损失值进行反 向传播以更新模型的 参数， 并继续执 行所述将所述模型训练样本进行 数据增强， 得到增强后的数据样本的步骤。 6.根据权利要求2所述的方法， 其特征在于， 所述对以人为中心的行为图像标注身体部 位编码， 得到原 始行为识别数据集， 包括： 根据预设行为 参数从收集的行为图像中选择 预设数量的预处 理图像； 计算所述预处 理图像中身体部位的坐标值；权　利　要　求　书 1/2 页 2 CN 114511877 A 2根据所述身体部位的坐标值对以人为中心的行为图像标注身体部位编码， 得到原始行 为识别数据集。 7.根据权利要求2所述的方法， 其特征在于， 所述将所述模型训练样本进行数据增强， 得到增强后的数据样本， 包括： 对所述模型训练样本进行归一 化处理， 得到归一 化后的训练样本； 采用仿射变换 方法将归一 化后的训练样本缩放 为多种尺度， 得到缩放后的数据样本； 采用仿射变换 方法将缩放后的数据样本进行旋转增强， 得到增强后的数据样本 。 8.一种行为识别装置， 其特 征在于， 所述装置包括： 图像获取模块， 用于获取待识别的目标图像； 图像生成模块， 用于根据所述目标图像生成人体图像以及人体各个部位图像； 图像输入模块， 用于将所述目标图像、 人体图像以及人体各个部位图像输入预先训练 的行为识别模型中； 其中， 所述预先训练的行为识别模型是基于标注身体部位编码的行为 图像训练生成的； 行为输出模块， 用于 输出所述人体图像的人体部位以及所述人体部位对应的行为。 9.一种计算机存储介质， 其特征在于， 所述计算机存储介质存储有多条指令， 所述指令 适于由处 理器加载并执 行如权利要求1 ‑7任意一项的方法步骤。 10.一种终端， 其特征在于， 包括： 处理器和存储器； 其中， 所述存储器存储有计算机程 序， 所述计算机程序适于由所述处 理器加载并执 行如权利要求1 ‑7任意一项的方法步骤。权　利　要　求　书 2/2 页 3 CN 114511877 A 3