(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210665254.X (22)申请日 2022.06.13 (71)申请人 武汉工程大 学 地址 430000 湖北省武汉市东湖新 技术开 发区光谷一路20 6号 (72)发明人 黄丽坤　朱传虎　黄正华　王悦　 陈泽宇　张成　 (74)专利代理 机构 武汉智嘉联合知识产权代理 事务所(普通 合伙) 42231 专利代理师 张璐 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/36(2022.01) (54)发明名称 生活照人物识别模型训练方法、 人物识别方 法及电子设备 (57)摘要 发明提供了一种生活照人物识别模型训练 方法、 人物识别方法及电子设备， 其包括： 基于深 度残差网络构建初始生活照人物识别模型； 获取 包含待检测人物的生活照样本集； 通过初始生活 照人物识别模 型获取样本集中人物特征图、 背景 特征图、 融合人物特征、 组 内人物关系、 组间人物 关系、 最终人物特征图和邻接矩阵； 根据最终人 物特征图和邻接矩 阵采用的多种损失函数计算 的损失值对初始生活照人物识别模型的参数进 行更新， 直至模型收敛得到生活照人物识别模 型。 本发明还提供了生活照人物识别方法及电子 设备。 本发 明通过对生活照中包含的多种特征信 息进行提取， 并对人物关系进行建模， 提高了人 物身份识别的精度。 权利要求书3页 说明书13页 附图6页 CN 115116089 A 2022.09.27 CN 115116089 A 1.一种生活照人物 识别模型训练方法， 其特 征在于， 包括： 基于深度残差网络构建初始生活照人物 识别模型； 获取包含待测人物的生活照样本集， 所述样本集包括待测图像和对照图像； 将所述待测图像和对照图像输入所述初始生活照人物识别模型， 处理得到待测人物特 征图、 对照人物特 征图、 待测背景 特征图和对照背景 特征图； 基于预设的融合神经网络模型将所述待测人物特征图和待测背景特征图进行融合得 到待测融合人物特征， 还将所述对照人物特征图和对照背 景特征图进 行融合得到对照融合 人物特征； 以所述待测融合人物特征和对照融合人物特征作为节点， 基于不同节点之间的连接关 系确定所述待测融合人物特征之间的待测组内人物关系、 对照融合人物特征之 间的对照组 内人物关系以及所述待测融合人物特 征与对照融合人物特 征之间的组间人物关系； 基于所述待测组内人物关系与所述组间人物关系构建邻 接矩阵， 并将所述待测组内人 物关系与所述组间人物关系进行维度拼接得到最终人物特 征图； 对所述最终人物特征图和所述邻 接矩阵采用了多种损失函数计算损失， 根据计算的损 失值对所述初始 生活照人物识别模型的模型参数进行更新， 直至模型收敛得到生活照人物 识别模型。 2.根据权利要求1所述的一种生活照人物识别模型训练方法， 其特征在于， 所述将所述 待测图像和对照图像输入所述初始 生活照人物识别模型， 处理得到待测人物特征图和对照 人物特征图， 包括： 将所述待测图像与对照图像已标注的人物框中的人物图像均分割为P块区域， 基于人 物不同的身体区域采用L个池化层替换所述初始 生活照人物识别模型最后一层的平均池化 层， 其中， 所述P和L均为大于1的整数； 分别对所述待测图像与对照图像 中的人物的P块身体区域进行特征提取， 分别得到S个 不同身体区域的特征向量， 再将S 个不同身体区域的特征向量进 行拼接， 分别得到待测人物 特征图和对照人物特 征图,其中， 所述S为大于1的整数； 其中， 所述待测图像与对照图像均包含K个已标注人物框的人物， 所述待测人物特征图 和对照人物特 征图的数量均为R， 所述K和R均为大于1的整数。 3.根据权利要求1所述的一种生活照人物识别模型训练方法， 其特征在于， 所述将所述 待测图像和对照图像输入所述初始 生活照人物识别模型， 处理得到待测背 景特征图和对照 背景特征图包括： 将所述待测图像与对照图像已标注的人物框 中的像素抹除， 得到仅包含背景信 息的待 测背景图像与对照背景图像； 去除所述初始生活照人物识别模型中的全连接层和归一化层， 分别对所述待测背景图 像和对照背景图像进行 特征提取， 分别得到待测背景 特征图和对照背景 特征图。 4.根据权利要求1所述的一种生活照人物识别模型训练方法， 其特征在于， 所述基于预 设的融合神经网络模型将所述待测人物特征图和待测背景特征图进行融合得到待测融合 人物特征， 还将所述对照人物特征图和对照背景特征图进行融合得到对照融合人物特征， 包括： 基于预设的融合神经网络模型分别将所述R个待测人物特征图与待测背景特征图进行权　利　要　求　书 1/3 页 2 CN 115116089 A 2融合得到 O个待测融合人物特征， 还分别将所述 R个对照人物特征图与对照背 景特征图进 行 融合得到Q个对照融合人物特 征， 其中， 所述O和Q均为大于1的整数； 其中， 所述待测融合人物特征包含所述待测人物特征和待测背景特征， 所述对照融合 人物特征包含所述对照人物特 征和对照背景 特征。 5.根据权利要求1所述的一种生活照人物识别模型训练方法， 其特征在于， 所述以待测 融合人物特征和对照融合人物特征作为节点， 基于不同节点之 间的连接关系确定所述待测 融合人物特征之间的待测组内人物关系、 对照融合人物特征之 间的对照组内人物关系以及 所述待测融合人物特 征与所述对照融合人物特 征之间的组间人物关系， 包括： 以所述O个待测融合人物特征作为节点在待测图像内部进行构图建模， 每个节点代表 一个组成员， 以边来连接待测图像组内不同成员， 不同节点两两相连， 同时对成员间依赖关 系建模， 构建待测图像组内人物关系图； 以所述Q个对照融合人物特征作为节点在对照图像内部进行构图建模， 每个节点代表 一个组成员， 以边来连接对照图像组内不同成员， 不同节点两两相连， 同时对成员间依赖关 系建模， 构建对照图像组内关系图； 以所述O个待测融合人物特征和Q个对照融合人物特征作为节点， 在所述待测图像和对 照图像之间构图建模， 以边来连所述待测图像与对照图像的节点， 不同图像间的节点两两 连接， 构建组间关系图。 6.根据权利要求1所述的一种生活照人物识别模型训练方法， 其特征在于， 所述基于所 述待测组内人物关系与所述组间人物关系构建邻接矩阵， 并将所述待测组内人物关系与所 述组间人物关系进行维度拼接得到最终人物特 征图， 包括： 通过所述待测组内人物关系与所述组间人物关系构建邻 接矩阵， 其中矩阵的行和列分 别代表待测组内人物关系包 含的所有成员和组间人物关系包 含的所有成员； 将所述待测组内人物关系与 所述组间人物关系 进行维度拼接得到的最终人物特征图， 所述最终人物特 征图包含有人物特 征、 背景特征、 组内成员关系和组间成员关系信息 。 7.根据权利要求1所述的一种生活照人物识别模型训练方法， 其特征在于， 所述对所述 最终人物特征图和所述邻接矩阵采用了多种损失函数计算损失， 根据计算的损失值对所述 初始生活照人物识别模型 的模型参数进行更新， 直至模型收敛得到生活照人物识别模型， 包括： 采用交叉熵损失函数和三元组损失函数计算最终人物特征图中待识别人物与参考集 中其他人物实例身份的匹配度， 所述匹配度的值为所述交叉熵损失函数和三元组损失函数 计算的损失值的线性累加； 采用成对损失函数计算待识别目标所在的组的全体成员与参考集中对应的组内成员 特征相似度， 所述相似度的值 为所述成对损失函数计算的损失值； 将所述交叉熵损失函数、 三元组损失函数和成对损失函数计算的损失值进行线性累 加， 得到目标损失值； 利用所述目标损失值对所述初始生活照人物识别模型参数进行更新， 直至模型收敛得 到生活照人物 识别模型； 其中， 所述目标损失值最终为P块身体区域分别计算的损失值的线性累加， 所述参考集 为样本集中除所述待测图像之外的已标注的人物框的生活照图像。权　利　要　求　书 2/3 页 3 CN 115116089 A 3