(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111641817.3 (22)申请日 2021.12.2 9 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 谢楠　刘兆杰　陆贝尔　李政序　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 代理人 赵志远 (51)Int.Cl. G06V 40/20(2022.01) G06K 9/62(2022.01) G06V 10/74(2022.01) G06F 9/54(2006.01) G06F 3/01(2006.01) (54)发明名称 一种用于科普教育的远程手势控制系统 (57)摘要 本发明涉及一种用于科普教育的远程手势 控制系统， 包括： 手势 语义识别模块， 用于对用户 的手势进行识别并匹配对应的手势 语义； 物联智 控模块， 用于通过对预设关节点进行检测， 实现 对家具设备的控制。 与现有技术相比， 本发明具 有提供学生与系统的交互、 实用性强、 适于推广 等优点。 权利要求书2页 说明书4页 附图2页 CN 114387667 A 2022.04.22 CN 114387667 A 1.一种用于科普教育的远程手势控制系统， 其特征在于， 所述的远程手势控制系统包 括： 手势语义识别模块， 用于对用户的手势进行识别并匹配对应的手势语义； 物联智控 模块， 用于通过对预设 关节点进行检测， 实现对家具设备的控制。 2.根据权利要求1所述的一种用于科普教育的远程手势控制系统， 其特征在于， 所述的 手势语义识别模块具体为： 步骤1‑1： 采集用户手掌的RGB图像； 步骤1‑2： 通过手掌检测器获取包围手掌的最小方 形边界框； 步骤1‑3： 通过关节点标注器对方 形边界框内的手掌 关节点进行 标注； 步骤1‑4： 返回步骤1 ‑1， 进行下一帧图像的识别， 直至图像内无用户手掌； 步骤1‑5： 将检测出的手势与手势库中的手势进行匹配， 输出匹配结果。 3.根据权利要求2所述的一种用于科普教育的远程手势控制系统， 其特征在于， 所述的 步骤1‑2具体为： 采用含有跨层连接 的编码解码器Encoder ‑Decoder作为手掌检测器， 利用单阶段检测 模型获取包围手掌的方形边界框， 并采用非极大值抑制算法选取包围完整手掌的最小方形 边界框。 4.根据权利要求2所述的一种用于科普教育的远程手势控制系统， 其特征在于， 所述的 步骤1‑3具体为： 关节点标注器采用回归的方式标注 21个手部关节点。 5.根据权利要求2所述的一种用于科普教育的远程手势控制系统， 其特征在于， 所述的 步骤1‑4还包括： 利用当前帧画面中关节点的位置对下一帧画面中手部区域进行预测， 并计算预测值与 下一帧画面之间的误差， 若误差满足预设置信度， 则直接利用预测值代替下一帧画面中手 掌方形边界框的位置 。 6.根据权利要求2所述的一种用于科普教育的远程手势控制系统， 其特征在于， 所述的 步骤1‑5具体为： 确定每个关节点的弯曲角度， 构成关节点弯曲角度矩阵； 将检测到的关节点弯曲角度矩阵与 预设的手势库中的关节点弯曲角度矩阵进行匹配， 输出匹配结果。 7.根据权利要求6所述的一种用于科普教育的远程手势控制系统， 其特征在于， 所述的 步骤1‑5还包括： 利用二分类网络判断边界框内手掌为左手还是右手。 8.根据权利要求1所述的一种用于科普教育的远程手势控制系统， 其特征在于， 所述的 物联智控 模块具体为： 步骤2‑1： 设置识别框； 步骤2‑2： 检测识别框内是否出现预定的关节点， 若是， 则执行步骤2 ‑3， 否则进行执行 步骤2‑2； 步骤2‑3： 输出布尔指令， 并通过TCP/IP协议将指令传输至智能家居设备， 实现对智能 家居设备的控制。权　利　要　求　书 1/2 页 2 CN 114387667 A 29.根据权利要求1所述的一种用于科普教育的远程手势控制系统， 其特征在于， 所述的 远程手势控制系统设有： 自主优化模块， 用于用户的参数自主优化。 10.根据权利要求9所述的一种用于科普教育的远程手势控制系统， 其特征在于， 所述 的自主优化模块包括： 最大检测数量优化单 元， 用于对同时识别手掌的数量进行调节； 置信度优化单 元， 用于对手掌识别置信度参数进行调节。权　利　要　求　书 2/2 页 3 CN 114387667 A 3