(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210366897.4 (22)申请日 2022.04.08 (71)申请人 北京东土科技股份有限公司 地址 100041 北京市石景山区实兴大街3 0 号院2号楼8层901 (72)发明人 周爱平　郭丽萍　江启运　边浩　 张朝鹏　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 初春 (51)Int.Cl. G06F 9/455(2006.01) G06F 9/54(2006.01) G06V 10/94(2022.01) G06V 10/22(2022.01)G06V 20/40(2022.01) G06T 7/00(2017.01) H04N 5/232(2006.01) (54)发明名称 一种集成视觉和控制方法、 装置、 设备和存 储介质 (57)摘要 本发明实施例公开了一种集成视觉和控制 的方法、 装置、 设备和存储介质， 包括： 非实时操 作系统获取相机设备的视频图像信息， 并将视频 图像信息进行分析计算， 将视觉计算结果保存到 预留内存区域中； 实时操作系统调用标准接口从 预留内存区域中提取视觉计算结果， 根据视觉计 算结果生 成运动指令； 根据运动指令控制伺服系 统执行运动。 通过在边缘控制系统中同时集成了 支持视觉的非实时操作系统所对应的虚拟机， 以 及支持运动控制的实时操作系统所对应的虚拟 机， 从而针对 涉及视觉和工业控制的制造场景进 行了设备的一替多集成， 降低了设备整体采购成 本。 权利要求书2页 说明书9页 附图3页 CN 114721778 A 2022.07.08 CN 114721778 A 1.一种集成视觉和控制方法， 其特征在于， 应用于边缘控制系统， 所述边缘控制系统中 包括运行于不同虚拟机上的支持视觉的非实时操作系统和支持运动控制的实时操作系统， 所述边缘控制系统向各所述虚拟机提供访问预留内存区域的标准接口， 所述边缘控制系统 分别与相机设备和伺服系统连接， 所述方法包括： 非实时操作系统获取相机设备的视频图像信息， 并将所述视频图像信息进行分析计 算， 将视觉计算结果保存到预留 内存区域中； 实时操作系统调用所述标准接口从所述预留内存区域中提取所述视觉计算结果， 根据 所述视觉计算结果 生成运动指令； 根据所述 运动指令控制所述伺服系统执 行运动。 2.根据权利要求1所述的方法， 其特征在于， 所述边缘控制系统还与人机交互设备连 接； 所述非实时操作系统获取相机设备的视频图像信 息， 并将所述视频图像信 息进行分析 计算， 将视 觉计算结果保存到预留 内存区域中之前， 还 包括： 通过所述非实时操作系统 的人机交互应用， 接收所述人机交互设备所发送的开始拍摄 指令； 将所述拍摄指令通过所述非实时操作系统的视觉分析应用发送给所述相机设备， 以使 所述相机设备根据所述开始拍摄指令对指定产品所位于的场景进行拍摄获取所述视频图 像信息。 3.根据权利要求2所述的方法， 其特征在于， 所述非实时操作系统获取相机设备的视频 图像信息， 并将所述视频图像信息进 行分析计算， 将视觉计算结果保存到预留内存区域中， 包括： 非实时操作系统接收所述相机设备发送的所述视频图像信息； 根据所述视频图像信 息确定所述指定产品在场景中放置的坐标位置， 并将所述坐标位 置作为所述视 觉计算结果； 将所述坐标位置保存到所述预留 内存区域中。 4.根据权利要求3所述的方法， 其特征在于， 所述实时操作系统调用所述标准接口从所 述预留预留内存区域中提取所述视觉计算结果， 根据所述视觉计算结果生成运动指令， 包 括： 所述实时操作系统调用所述标准接口从所述预留预留内存区域中提取所述坐标位置， 并根据所述 坐标位置确定规划路径； 所述实时操作系统的运动控制应用根据所述 规划路径生成运动指令 。 5.根据权利要求4中所述的方法， 其特征在于， 所述实时操作系统调用所述标准接口从 所述预留 内存区域中提取 所述坐标位置， 并根据所述 坐标位置确定规划路径， 包括： 所述实时操作系统调用所述标准接口对所述预留内存区域进行定期轮询访问， 获取所 述坐标位置； 根据所述 坐标位置按照预设算法进行计算获取 所述规划路径。 6.根据权利要求4所述的方法， 其特征在于， 所述伺服系统与录像设备连接， 并且所述 伺服系统包括 三个伺服驱动器和相应的伺服电机； 所述根据所述 运动指令控制所述伺服系统执 行运动， 包括：权　利　要　求　书 1/2 页 2 CN 114721778 A 2所述实时操作系统的运动控制应用根据所述运动指令控制第一伺服驱动器和第二伺 服驱动器驱动相应的伺服电机， 按照所述规划路径水平移动所述录像设备到达水平指 定位 置； 所述实时操作系统的运动控制应用根据所述运动指令控制第三伺服驱动器驱动相应 的伺服电机， 按照所述规划路径竖直移动所述录像设备到达竖直指定位置以达到指定焦距 状态。 7.根据权利要求1所述的方法， 其特征在于， 所述非实时操作系统获取相机设备的视频 图像信息， 并将所述视频图像信息进行分析计算， 将视觉计算结果保存到预留内存区域中 之前， 还包括： 将指定的真实物理内存地作为预留真实物 理内存地址， 所述预留真实物理内存地址对 应预留内存区域； 创建虚拟机时， 构建每个虚拟机所对应的扩展页表， 其中， 每个所述扩展页表中包含所 述预留真实物理内存地址与共享虚拟物理内存地址的对应关系； 向各所述虚拟机提供访问预留 内存区域的所述标准接口。 8.根据权利要求7所述的方法， 其特征在于， 所述实时操作系统调用所述标准接口从所 述预留内存区域中提取 所述视觉计算结果， 包括： 确定所述实时虚拟机的共享虚拟地址； 在接收到所述实时操作系统中的运动控制应用通过调用所述标准接口对所述共享虚 拟地址的访问请求时， 通过查询地址映射表获取共享虚拟物理内存地址， 其中， 所述地址映 射表中包 含共享虚拟地址与共享虚拟物理内存地址的对应关系； 通过查询所述扩展页表获取与所述共享虚拟物理内存地址所匹配的预留真实物理内 存地址， 并对所述预留真实物理内存地址所对应的预留内存区域进行访问， 以提取所述视 觉计算结果。 9.一种集成视 觉和控制装置， 其特 征在于， 包括： 视觉计算结果信息保存模块， 用于非实时操作系统获取相机设备的视频图像信息， 并 将所述视频图像信息进行分析计算， 将视 觉计算结果保存到预留 内存区域中； 运动指令生成模块， 用于实时操作系统调用标准接口从所述预留内存区域中提取所述 视觉计算结果， 根据所述视 觉计算结果 生成运动指令； 运动控制模块， 用于根据所述 运动指令控制伺服系统执 行运动。 10.一种计算机设备， 其特 征在于， 所述计算机设备包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑8中任一所述的方法。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1 ‑8中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 114721778 A 3