(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210099292.3 (22)申请日 2022.01.26 (71)申请人 孙隆 地址 215004 江苏省苏州市虎丘区火炬路 41号 (72)发明人 孙隆　 (51)Int.Cl. G06F 9/451(2018.01) G06Q 30/06(2012.01) G06K 17/00(2006.01) G09B 5/08(2006.01) (54)发明名称 一种基于远程视频技术的机电产品在线组 装指导方法、 设备及存 储介质 (57)摘要 本发明公开一种基于远程视频技术的机电 产品在线组装指导方法、 设备及存储介质， 在当 用户对目标机电产品进行实际组装 过程中， 通过 建立远程视频指导界面， 由目标机电产品对应的 视频组装指导单元对用户的当前组装过程进行 组装正确或错误判断， 当判断存在组装错误时， 进行组装错误的智能在线组装指导， 实现了用户 对目标机电产品当前组装过程的在线视频组装 指导， 不仅弥补了目前基于组装说明书或组装视 频进行组装造成的组装错误无法及时发现的不 足， 还大大减少了目前用户向卖家进行组装错误 指导时， 因无法还原当初组装 过程导致卖家指导 不到位现象的发生， 能够有效减少组装时长， 降 低组装返工率， 从而提升了用户的实际组装体验 感。 权利要求书2页 说明书7页 附图1页 CN 114489904 A 2022.05.13 CN 114489904 A 1.一种基于远程视频技 术的机电产品在线组装指导方法， 其特 征在于， 包括以下步骤： 步骤1.视频在线组装指导前设备设置： 机电产品卖家对其在电商平台售卖的各种机电 产品分别设置视频组装指导单元， 并分别对应设置视频组装指导二维码， 同时构建组成零 件库和标准组装数据库， 其中组成零件库用于存储各种机电产品对应的所有组成零件名称 及各个组成零件对应的图像， 标准组装数据库用于存储各种机电产品对应各组装步骤的标 准组装状态参数、 组装前 标准组装半成品图像和标准组装过程视频； 步骤2.视频组装指导二维码显示： 在用户通过电商平台购买目标机电产品进行签收 后， 获取目标机电产品的购物订单， 并从购物订单中提取目标机电产品名称， 以此基于目标 机电产品名称从各种机电产品对应的视频组装指导二维码中筛选出目标机电产品对应的 视频组装指导 二维码， 并显示在目标机电产品卖家店铺与用户的线上交 互界面中； 步骤3.远程视频指导界面建立： 用户在进行目标机电产品组装时， 通过利用移动终端 扫描线上 交互界面中的视频 组装指导二 维码建立远程视频在线连接， 形成远程视频指导界 面， 其中远程视频指导界面 一端为用户， 另一端为目标机电产品对应的视频组装指导单 元； 步骤4.当前组装过程视频采集传输： 在用户进行目标机电产品组装过程中由移动终端 对用户组装目标机电产品的当前组装过程进 行视频采集， 其采集的当前组装过程视频通过 视频在线传输 至目标机电产品对应的视频组装指导单 元； 步骤5.组装结果判断及组装错误智能在线组装指导： 由视频组装指导单元对目标机电 产品的当前组装过程视频进行组装正确或错误判断， 当判断存在组装错误时， 进行组装错 误的智能在线组装指导。 2.根据权利要求1所述的一种基于远程视频技术的机电产品在线组装指导方法， 其特 征在于： 所述标准组装状态参数包括标准组装零件名称、 标准组装位置和标准组装方式。 3.根据权利要求1所述的一种基于远程视频技术的机电产品在线组装指导方法， 其特 征在于： 所述视频组装指导单元包括当前组装步骤识别单元、 组装过程判断分析单元和智 能组装指导执 行单元。 4.根据权利要求3所述的一种基于远程视频技术的机电产品在线组装指导方法， 其特 征在于： 所述当前组装步骤识别单元用于对目标机电产品的当前组装过程视频进 行当前组 装步骤识别， 其具体识别方法如下： 将目标机电产品对应的当前组装过程视频进行组装前半成品图像截取； 从标准组装数据库中提取目标机电产品对应各组装步骤的组装前标准组装半成品图 像； 将截取的组装前半成品图像与目标机电产品对应各组装步骤的组装前标准组装半成 品图像进行匹配， 从中筛 选出匹配成功的组装步骤， 作为当前组装步骤。 5.根据权利要求3所述的一种基于远程视频技术的机电产品在线组装指导方法， 其特 征在于： 所述组装过程判断分析单元用于在识别当前组装步骤时， 对当前组装步骤的组装 过程进行组装正确或错 误判断， 其具体判断过程执 行以下步骤： 第一步： 将目标机电产品对应当前组装步骤的组装过程视频进行当前组装状态参数提 取， 其当前组装状态参数包括当前组装零件名称、 当前组装位置和当前组装方式； 第二步： 从提取的当前组装状态参数中筛选当前组装零件名称， 并从标准组装数据库 中提取目标机电产品对应当前组装步骤的标准组装零件名称， 以此将当前组装零件名称与权　利　要　求　书 1/2 页 2 CN 114489904 A 2当前组装步骤的标准组装零件名称进行比对， 判断是否一致， 若一致， 则执行第三步， 若不 一致， 则判断当前组装步骤的组装过程存在组装错误， 并将当前组装步骤的组装过程错误 记作组装零件错 误类型； 第三步： 从提取的当前组装状态参数中筛选当前组装位置， 并从标准组装数据库中提 取目标机电产品对应当前组装步骤的标准组装位置， 以此将当前组装位置与当前组装步骤 的标准组装位置进 行比对， 判断是否一致， 若一致， 则执行第四步， 若不一致， 则判断当前 组 装步骤的组装过程存在组装错误， 并将当前组装步骤的组装过程错误记作组装位置错误类 型； 第四步： 从提取的当前组装状态参数中筛选当前组装方式， 并从标准组装数据库中提 取目标机电产品对应当前组装步骤的标准组装方式， 以此将当前组装方式与当前组装步骤 的标准组装方式进行比对， 判断是否一致， 若一致， 则判断当前组装步骤的组装过程正确， 若不一致， 则判断当前组装步骤的组装过程存在组装错误， 并将当前组装步骤的组装过程 错误记作组装方式错 误类型。 6.根据权利要求5所述的一种基于远程视频技术的机电产品在线组装指导方法， 其特 征在于： 所述当前组装零件名称的提取 过程具体包括： 将目标机电产品对应当前组装步骤的组装过程视频进行组装零件数量统计， 并从组装 过程视频中截取 各组装零件的图像； 从组成零件库中提取目标机电产品对应的所有组成零件名称及各个组成零件对应的 图像， 并将当前组装品对应各组装零件的图像与目标机电产品对应的所有组成零件名称及 各个组成零件 对应的图像进行对比， 从而识别出当前组装品对应各组装零件的名称。 7.根据权利要求3所述的一种基于远程视频技术的机电产品在线组装指导方法， 其特 征在于： 所述智能组装指导执行单元用于在判断当前组装步骤的组装过程存在组装错误 时， 通过AI客服机器人在建立的远程视频指导界面进行组装错误语音提示， 并将错误组装 类型进行语音提示， 其中错误组装类型包括组装零件错误类型、 组装位置错误类型和组装 方式错误类型， 同时根据错误组装类型从目标机电产品对应当前组装步骤的标准组装状态 参数中提取错误组装类型对应的标准组装状态参数， 进而基于错误组装类型对应的标准组 装状态参数进行语音组装指导。 8.根据权利要求7所述的一种基于远程视频技术的机电产品在线组装指导方法， 其特 征在于： 所述智能组装指导执行单元还包括从标准组装数据库中提取目标机电产品对应当 前组装步骤的标准组装过程视频， 进而将其显示在远程视频指导界面， 由AI客服机器人进 行组装过程视频在线指导讲解。 9.一种设备， 其特征在于： 包括处理器， 以及与处理器连接的内存和网络接口； 所述网 络接口与服务器中的非易 失性存储器连接； 所述处理器在运行时通过所述网络接口从所述 非易失性存储器中调取计算机程序， 并通过所述内存运行所述计算机程序， 以执行上述权 利要求1‑8任一项所述的方法。 10.一种存储介质， 其特征在于： 所述存储介质烧录有计算机程序， 所述计算机程序在 服务器的内存中运行时实现上述权利要求1 ‑8任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114489904 A 3