(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211049900.6 (22)申请日 2022.08.30 (71)申请人 上海高德威智能交通系统有限公司 地址 201821 上海市嘉定区云谷路59 9弄6 号620室J 1452 (72)发明人 姜秀峰　 (74)专利代理 机构 北京中博世 达专利商标代理 有限公司 1 1274 专利代理师 刘春丽 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) (54)发明名称 一种手势 识别方法、 装置及存 储介质 (57)摘要 本申请公开了一种手势识别方法、 装置及存 储介质， 涉及图像处理技术领域， 可用于提高手 势识别的准确性， 并降低手势识别的计算量。 该 方法包括： 获取多帧图像中每一帧图像的手部关 键点特征信息； 所述多帧图像根据对运动的手部 进行拍摄得到； 将多帧图像中每一帧图像的手部 关键点特征信息、 预设的空间序列序号信息以及 预设的时间序列序号信息输入至基于图卷积神 经网络的手势识别模型中， 得到手势识别结果； 其中， 空间序列序号信息用于标记多帧图像中每 一帧图像的手部关键点的序号， 时间序列序号信 息用于标记多帧图像中每一帧图像的空间信息 对应的帧数。 权利要求书3页 说明书13页 附图4页 CN 115410274 A 2022.11.29 CN 115410274 A 1.一种手势 识别方法， 其特 征在于， 所述方法包括： 获取多帧图像 中每一帧图像的手部关键点特征信 息； 所述多帧图像根据对运动的手部 进行拍摄得到； 一帧图像的手部关键点特征信息包括该帧图像的手部 关键点坐标以及手部 关键点运动信息， 一帧图像的手部 关键点运动信息用于表征该帧图像的手部关键点坐标相 对于该帧图像的前一帧图像中对应的手部关键点 坐标的变化情况； 将所述多帧图像中每一帧图像的手部关键点特征信 息、 预设的空间序列序号信 息以及 预设的时间序列序号信息输入至基于图卷积神经网络的手势识别模型中， 得到手势识别结 果； 其中， 所述空间序列序号信息用于标记所述多帧图像中每一帧图像的手部关键点的序 号， 所述时间序列序号信息用于标记所述多帧图像中每一帧图像的空间信息对应的帧数。 2.根据权利要求1所述的方法， 其特征在于， 其特征在于， 所述基于 图卷积神经网络的 手势识别模型包括基于图卷积神经网络的空间信息提取子模型、 时序信息提取子模型以及 分类子模型； 所述将所述多帧图像中每一帧图像的手部关键点特征信息、 预设的空间序列 序号信息以及预设的时间序列序号信息输入至基于图卷积神经网络的手势识别模型中， 得 到手势识别结果， 包括： 将所述多帧图像中每一帧图像的手部关键点特征信息以及预设的空间序列序号信息 输入至所述空间信息提取子模型， 得到所述每一帧图像的手部关键点邻接矩阵， 一帧图像 的手部关键点邻接矩阵用于表征该一帧图像中任意两个手部关键点之 间的连接 关系； 通过 所述空间信息提取子模型的图卷积神经网络对所述每一帧图像的手部关键点邻接矩阵进 行处理， 得到所述多帧图像中每一帧图像的空间信息； 将所述多帧图像中每一帧图像的空间信息以及所述预设的时间序列序号信息输入至 所述时序信息提取子模型， 得到所述多帧图像的时序信息； 所述多帧图像的时序信息用于 表征所述多帧图像从第一帧图像到最后一帧图像的空间信息变化情况； 将所述多帧图像的时序信息 输入至所述分类子模型， 得到所述手势 识别结果。 3.根据权利要求2所述的方法， 其特征在于， 所述将所述多帧图像中每一帧图像的手部 关键点特征信息以及所述预设的空间序列序号信息输入至所述空间信息提取子模型， 得到 所述每一帧图像的手部关键点邻接矩阵， 包括： 对于所述多帧图像中每一帧图像， 通过所述空间信 息提取子模型将该帧图像的手部关 键点特征信息以及所述空间序列序号信息进行融合处 理， 得到该帧图像的融合信息； 将该帧图像的融合信息分别输入至所述空间信息提取子模型的第一卷积层和第二卷 积层中， 得到所述第一卷积层输出的该帧图像的融合信息的矩阵和所述第二卷积层输出的 该帧图像的融合信息的矩阵； 将所述第一卷积层输出的该帧图像的融合信息的矩阵转置后与所述第二卷积层输出 的该帧图像的融合信息的矩阵相乘， 得到该帧图像的手部关键点邻接矩阵。 4.根据权利要求2所述的方法， 其特征在于， 所述将所述多帧图像中每一帧图像的空间 信息以及所述预设的时间序列序号信息输入至所述时序信息提取子模型， 得到所述多帧图 像的时序信息， 包括： 根据所述预设的时间序列序号信 息， 对所述多帧图像中每一帧图像对应的帧数进行标 记； 将标记帧数后的所述多帧图像的空间信息输入至所述时序信息提取子模型中的空间权　利　要　求　书 1/3 页 2 CN 115410274 A 2信息池化层， 得到池化处 理后的多帧图像的空间信息； 将所述池化处理后的多帧图像的空间信 息依次输入至第 三卷积层和第四卷积层， 通过 所述第三卷积层和所述第四卷积层建立所述多帧图像中每帧图像之 间的依赖关系， 得到建 立依赖关系后的多帧图像的空间信息； 将所述建立依赖关系后的多帧图像的空间信息输入至所述时序信息提取子模型中的 时间信息池化层， 得到所述多帧图像的时序信息 。 5.根据权利要求1所述的方法， 其特征在于， 所述获取多帧图像中每一帧图像的手部关 键点特征信息， 包括： 对于预设帧数的多帧图像中的每一帧图像， 将该帧图像输入至回归模型， 得到该帧图 像的手部关键点 坐标； 若该帧图像不是所述多帧图像中的第 一帧图像， 则对于该帧图像的任一手部关键点坐 标， 根据该帧图像的手部关键点坐标相比于该帧图像的前一帧图像的该手部关键点坐标的 变化量， 确定该帧图像的该手部 关键点对应的关键点运动信息； 或者， 若 该帧图像是所述多 帧图像中的第一帧图像， 则该帧图像对应的关键点 运动信息为预设的关键点 运动信息 。 6.根据权利要求1 ‑5任一项所述的方法， 其特 征在于， 所述方法还 包括： 在预设时间段内， 对所述预设时间段内的待检测视频进行多次手势动作识别操作； 所 述手势动作识别操作用于获取 所述待检测视频中的多帧图像的手势 识别结果； 若在所述预设时间段内， 进行所述多次手势动作识别操作所获得的多次手势识别结果 不一致， 则将所述多次手势识别结果中出现次数最多的手势识别结果确定为最终的手势识 别结果。 7.一种手势 识别装置， 其特 征在于， 包括： 获取模块， 用于获取多帧图像中每一帧图像的手部关键点特征信息； 所述多帧图像根 据对运动的手部进行拍摄得到； 一帧图像的手部关键点特征信息包括该帧图像的手部 关键 点坐标以及手部关键点运动信息， 一帧图像的手部 关键点运动信息用于表征该帧图像的手 部关键点 坐标相对于该帧图像的前一帧图像中对应的手部关键点 坐标的变化情况； 处理模块， 用于将所述多帧图像中每一帧图像的手部关键点特征信息、 预设的空间序 列序号信息以及预设的时间序列序号信息输入至基于图卷积神经网络的手势识别模型中， 得到手势识别结果； 其中， 所述空间序列序号信息用于标记所述多帧图像中每一帧图像的 手部关键点的序号， 所述时间序列序号信息用于标记所述多帧图像中每一帧图像的空间信 息对应的帧数。 8.根据权利要求7所述的装置， 其特征在于， 所述基于图卷积神经网络的手势识别模型 包括基于图卷积神经网络的空间信息提取子模型、 时序信息提取子模型以及分类子模型； 所述处理模块， 具体用于将所述多帧图像中每一帧图像的手部关键点特征信 息以及预 设的空间序列序号信息输入至所述空间信息提取子模型， 得到所述每一帧图像的手部 关键 点邻接矩阵； 所述每一帧图像的手部关键点邻接矩阵用于表征每一帧图像中任意两个手部 关键点之 间的连接 关系； 通过所述空间信息提取子模型的图卷积神经网络对所述每一帧图 像的手部关键点邻接矩阵进行处理， 得到所述多帧图像中每一帧图像的空间信息； 将所述 多帧图像中每一帧图像的空间信息以及所述预设的时间序列序号信息输入至所述时序信 息提取子模型， 得到所述多帧图像的时序信息； 所述多帧图像的时序信息用于表征所述多权　利　要　求　书 2/3 页 3 CN 115410274 A 3