(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221048076 0.1 (22)申请日 2022.05.05 (71)申请人 济南中科泛在智能计算研究院 地址 250131 山东省济南市天桥区小清河 北路滨河商务中心 A座 (72)发明人 陈益强　蒋鑫龙　李宜兵　姜怀臣　 邓新新　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 黄海丽 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G16H 50/20(2018.01) (54)发明名称 基于神经网络的肢体 语言识别系统 (57)摘要 本发明公开了基于神经网络的肢体语言识 别系统， 包括： 获取模块， 其被配置为： 获取待识 别对象的图像； 特征提取模块， 其被配置为： 从待 识别对象的图像中提取肢体特征关键点和手部 特征关键点； 在关键点提取过程中根据设定的肢 体语言要求， 删除无效图像以及无效图像对应的 关键点； 数据预处理模块， 其被配置为： 对异常特 征关键点进行置零； 特征融合模块， 其被配置为： 将肢体特征关键点与手部特征关键点进行特征 融合， 得到融合特征； 分类模块， 其被配置为： 采 用训练后的分类器对融合特征进行分类， 得到肢 体语言识别结果。 本发明通过对 无效图像进行删 除和对异常特征关键点进行置零操作， 保证数据 的无噪声， 为肢体 语言的精准识别打下基础。 权利要求书2页 说明书10页 附图1页 CN 114882588 A 2022.08.09 CN 114882588 A 1.基于神经网络的肢体 语言识别系统， 其特 征是， 包括： 获取模块， 其被 配置为： 获取待识别对象的图像； 特征提取模块， 其被配置为： 从待识别对象的图像中提取肢体特征关键点和手部特征 关键点； 在关键点提取过程中根据设定的肢体语言要求， 删除无效图像以及无效图像对应 的关键点； 数据预处 理模块， 其被 配置为： 对异常特 征关键点进行置零； 特征融合模块， 其被配置为： 将肢体特征关键点与手部特征关键点进行特征融合， 得到 融合特征； 分类模块， 其被配置为： 采用训练后的分类器对融合特征进行分类， 得到肢体语言识别 结果。 2.如权利要求1所述的基于神经网络的肢体语言识别系统， 其特征是， 获取待识别对象 的图像， 是指， 获取待识别对象做出若干种指定社交动作的视频， 将视频转换为图像； 所述 若干种指定社交动作， 分别是指保持安静、 打招呼、 赞佩、 思考、 拒绝、 无奈和无动作。 3.如权利要求1所述的基于神经网络的肢体语言识别系统， 其特征是， 所述从待识别对 象的图像中提取肢体特征关键点和手部特征关键点； 采用BlazePose模型提取人体的肢体 特征关键点， 采用BlazePlam模型提取 人体的手部特 征关键点。 4.如权利要求1所述的基于神经网络的肢体语言识别系统， 其特征是， 所述在关键点提 取过程中根据设定的肢体 语言要求， 删除无效图像以及无效图像对应的关键点； 具体包括： 对“保持安静 ”、“打招呼”以及“赞佩”三种类别的肢体语言动作， 如果 图像中检测到左 右两只手同时存在、 左右两只手同时不存在或者两个手腕点同时存在， 则表示当前图像为 无效图像， 予以删除； 对“拒绝”或“无奈”两种类别的肢体语言动作， 如果在图像 中检测到左右两只手同时存 在， 则将当前图像视为有效图像， 其 余图像均视为无效图像； 对“思考”或“疑虑”两种类别的肢体语言动作， 如果在图像中两只手腕点都未检测到， 则将当前图像视为无效图像， 予以删除； 对“无动作”类别的肢体语言动作， 如果在图像中检测到任意一只手， 则表示当前图像 为无效图像， 予以删除。 5.如权利要求1所述的基于神经网络的肢体语言识别系统， 其特征是， 所述对异常特征 关键点进行置零； 具体包括： 当待识别对象处于无动作状态时， 图像中未检测到关键点， 则对未检测到的特征值采 取归零处 理； 当待识别对象处于赞佩或打招呼动作状态时， 图像中未检测到左手的特征关键点， 则 对左手关键点的特 征值元素设置为 零。 6.如权利要求1所述的基于神经网络的肢体语言识别系统， 其特征是， 所述将肢体特征 关键点与手部特征关键点进行特征融合， 得到融合特征； 所述特征融合采用拼接方式进行 特征融合。 7.如权利要求1所述的基于神经网络的肢体语言识别系统， 其特征是， 所述采用训练后 的分类器对融合特征进 行分类， 得到肢体语言识别结果； 其中， 分类器选择全连接神经网络 或一维卷积神经网络 。权　利　要　求　书 1/2 页 2 CN 114882588 A 28.如权利要求1所述的基于神经网络的肢体语言识别系统， 其特征是， 所述采用训练后 的分类器对融合特征进行分类， 得到肢体语言识别结果； 其中， 训练后的分类器； 训练过程 包括： 构建训练集； 其中， 训练集 为已知肢体 语言识别标签的肢体动作图像； 从训练集中提取肢体特 征关键点和手部特 征关键点； 将肢体特 征关键点和手部特 征关键点进行 特征融合； 将融合特 征输入到分类 器中对分类 器进行训练， 得到训练后的分类 器。 9.如权利 要求8所述的基于神经网络的肢体语言识别系统， 其特征是， 使用TFLite对分 类器进行转 化、 部署和优化。 10.如权利要求8所述的基于神经网络的肢体语言识别系统， 其特征是， 所述肢体语言 识别标签， 包括： 保持安静、 打招呼、 赞佩、 思考、 社交动作、 拒绝、 无奈、 无动作。权　利　要　求　书 2/2 页 3 CN 114882588 A 3