(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210893712.5 (22)申请日 2022.07.27 (65)同一申请的已公布的文献号 申请公布号 CN 114972958 A (43)申请公布日 2022.08.30 (73)专利权人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 杨黔生　 (74)专利代理 机构 北京市汉坤律师事务所 11602 专利代理师 姜浩然　吴丽丽 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/25(2022.01)G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 20/64(2022.01) 审查员 黄剑芳 (54)发明名称 关键点检测方法、 神经网络的训练方法、 装 置和设备 (57)摘要 本公开提供了一种关键点检测方法、 神经网 络的训练方法、 装置和设备， 涉及人工智能领域， 具体涉及图像处理、 计算机视觉和深度学习等技 术领域， 可应用于3D视觉、 增强现实、 虚拟现实等 场景。 关键点检测方法包括： 获取关于目标图像 的多个图像， 针对每一个图像， 在该图像中确定 与目标对象对应的多个关键点； 获取多个关键点 各自的表征在图像中的二维位置的二维信息； 基 于多个关键点各自的二维信息， 确定与该图像对 应的第一特征； 以及针对多个图像中的每一个图 像， 利用神经网络基于与多个图像对应的多个第 一特征强化与该图像对应的第一特征， 以得到与 该图像对应的第二特征； 以及基于第二特征， 确 定该图像中的多个关键点各自的表征三维坐标 的三维信息 。 权利要求书5页 说明书15页 附图7页 CN 114972958 B 2022.10.04 CN 114972958 B 1.一种关键点检测方法， 其特 征在于， 所述方法包括： 获取多个图像， 所述多个图像是对目标对象进行 连续拍摄而得到的； 针对所述多个图像中的每一个图像， 在该图像中确定与所述目标对象对应的多个关键点； 获取所述多个关键点各自的二维信 息， 所述二维信 息表征对应的关键点在该图像 中的 二维位置； 基于所述多个关键点各自的二维信息， 确定与该图像对应的第一特 征； 利用神经网络基于所确定的与所述多个图像对应的多个第一特征强化与该图像对应 的第一特 征， 以得到与该图像对应的第二特 征； 以及 基于所述第二特征， 确定该图像中的多个关键点各自的三维信息， 所述三维信息表征 对应的关键点在所述目标对象所在的场景中的三维位置 。 2.根据权利要求1所述的方法， 其特征在于， 所述神经网络包括空间强化子网络， 其中， 基于所述多个关键点各自的二维信息， 确定与该图像对应的第一特 征， 包括： 针对所述多个关键点中的每一个关键点， 基于该关键点的二维信 息确定该关键点的关 键点特征； 针对所述多个关键点中的每一个关键点， 利用所述空间强化子网络基于所确定的与 所 述多个关键点对应的多个关键点特征强化该关键点的关键点特征， 以得到该关键点的强化 后的关键点特 征； 以及 基于所述多个关键点各自的强化后的关键点特 征， 确定与该图像对应的第一特 征。 3.根据权利要求2所述的方法， 其特征在于， 其中， 针对所述多个关键点中的每一个关 键点， 利用所述空间强化子网络基于所确定的与所述多个关键点对应的多个关键点特征强 化该关键点的关键点特 征， 以得到该关键点的强化后的关键点特 征， 包括： 利用所述空间强化子网络基于自注意力机制对与所述多个关键点对应的多个关键点 特征进行强化， 以得到所述多个关键点各自的强化后的关键点特 征。 4.根据权利要求2或3所述的方法， 其特征在于， 基于所述多个关键点各自的强化后的 关键点特 征， 确定与该图像对应的第一特 征， 包括： 将所述多个关键点各自的强化后的关键点特征进行拼接， 以得到与 该图像对应的第 一 特征。 5.根据权利要求1 ‑3中任一项所述的方法， 其特征在于， 所述二维信 息包括以下中的至 少一个： 对应的关键点的二维坐标； 或 对应的关键点的二维坐标相对于对应的图像中的其 他关键点的二维坐标的偏差 。 6.根据权利要求5所述的方法， 其特征在于， 针对多个图像中的每一个图像， 获取所述 多个关键点各自的二维信息， 包括： 针对所述多个图像中的每一个图像， 获取该图像中的多个关键点中各自的图像坐标； 以及 基于该图像中的多个关键点在该图像中的位置或尺寸中的至少一个， 对该图像中的多 个关键点各自的图像坐标进行归一 化， 以得到该图像中的多个关键点各自的二维坐标。 7.根据权利要求1 ‑3中任一项所述的方法， 其特征在于， 所述神经网络包括 时序强化子权　利　要　求　书 1/5 页 2 CN 114972958 B 2网络， 其中， 利用神经网络基于所确定的与所述多个图像对应的多个第一特征强化与该图 像对应的第一特 征， 以得到与该图像对应的第二特 征， 包括： 利用所述时序强化子网络基于自注意力机制对与所述多个图像对应的多个第一特征 进行强化， 以得到所述多个图像各自对应的第二特 征。 8.根据权利要求1 ‑3中任一项所述的方法， 其特征在于， 所述多个图像的拍摄视角相 同。 9.根据权利要求1 ‑3中任一项所述的方法， 其特征在于， 所述目标对象为人体， 所述多 个图像中的每一个图像的多个关键点对应预 先确定的多个人体部位。 10.一种神经网络的训练方法， 其特 征在于， 所述方法包括： 针对连续的多个第 一时刻中的每一个第 一时刻， 获取在该第 一时刻与目标对象对应的 多个关键点各自的真实三 维信息和 第一样本二维信息， 所述真实三 维信息表征对应的关键 点在所述目标对象所在的场景中的三 维位置， 所述第一样本二维信息表征对应的关键点在 第一平面上的投影的二维位置； 以及 将所述第一样本二维信 息作为对应的关键点的目标二维信 息， 将所述多个第 一时刻作 为多个目标时刻， 并将所述神经网络作为目标神经网络， 以执 行以下训练操作： 针对所述多个目标时刻中的每一个目标时刻， 基于在该目标时刻与 所述目标对象对应 的多个关键点各自的目标二维信息， 确定与该目标时刻对应的第一特 征； 利用所述神经网络基于所确定的与所述多个目标时刻对应的多个第一特征强化与该 目标时刻对应的第一特 征， 以得到与该目标时刻对应的第二特 征； 基于与该目标时刻对应的第 二特征， 确定在该目标时刻与所述目标对象对应的多个关 键点各自的预测三维信息； 以及 基于在所述多个目标时刻中的每一个目标时刻与所述目标对象对应的多个关键点各 自的真实三维信息和预测三维信息， 调整所述 目标神经网络的参数， 以得到训练后的神经 网络。 11.根据权利要求10所述的方法， 其特 征在于， 所述方法还 包括： 针对所述多个第 一时刻中的每一个第 一时刻， 获取在该第 一时刻与目标对象对应的多 个关键点各自的第二样本二 维信息， 所述第二样本二 维信息表征对应的关键点在不同于所 述第一平面的第二平面上的投影的二维位置； 以及 将所述第二样本二维信 息作为对应的关键点的目标二维信 息， 将所述多个第 一时刻作 为多个目标时刻， 并将所述神经网络作为目标神经网络， 以执 行所述训练操作。 12. 根据权利要求10所述的方法， 其特 征在于， 所述方法还 包括： 在所述多个第一时刻中确定多个第二时刻； 以及 将所述第一样本二维信 息作为对应的关键点的目标二维信 息， 将所述多个第 二时刻作 为多个目标时刻， 并将所述神经网络作为目标神经网络， 以执 行所述训练操作。 13.根据权利要求10 ‑12中任一项所述的方法， 其特征在于， 所述神经网络包括空间强 化子网络， 其中， 针对所述多个目标时刻中的每一个目标时刻， 基于在该目标时刻与所述目 标对象对应的多个关键点各自的目标二维信息， 确定与该目标时刻对应的第一特 征， 包括： 针对所述多个目标时刻中的每一个目标时刻， 针对多个目标关键点中的每一个目标关键点， 基于该目标关键点的目标二维信 息确定权　利　要　求　书 2/5 页 3 CN 114972958 B 3