(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210254888.6 (22)申请日 2022.03.15 (71)申请人 上海云扩信息科技有限公司 地址 200240 上海市闵行区剑川路95 5号1 幢206室 (72)发明人 刘春刚　李佩钊　 (74)专利代理 机构 北京盛凡佳华专利代理事务 所(普通合伙) 11947 专利代理师 王艳 (51)Int.Cl. G06T 15/00(2011.01) G06F 9/451(2018.01) (54)发明名称 一种基于计算机视觉桌面元素自动化提取 的方法 (57)摘要 本发明公开了一种基于计算机视觉桌面元 素自动化提取的方法， 具体方法包括以下步骤： 步骤一、 获取目标窗口图像； 步骤二、 窗体中元素 的定位和识别； 步骤三、 窗体的元素的选择和确 认。 本方法能进行桌面元素的定位和识别， 不仅 适合Flash和一些特殊的系统， 也适用于其它通 用场景的元 素识别。 权利要求书1页 说明书2页 附图2页 CN 114596398 A 2022.06.07 CN 114596398 A 1.一种基于计算机视觉桌面元素自动化提取的方法， 其特征在于， 具体方法包括以下 步骤： 步骤一、 获取目标窗口图像； 步骤二、 窗体中元 素的定位和识别； 步骤三、 窗体的元 素的选择和 确认。 2.根据权利要求1所述的一种基于计算机视觉桌面元素自动化提取的方法， 其特征在 于： 所述的步骤一包 含以下流 程： (1‑1).截取桌 面图像， 进行窗口识别； (1‑2).窗口轮廓渲染， 提 示用户进行窗口选择； (1‑3).截取窗口图像， 发送至云端元 素识别接口， 并记录窗口 的坐标和大小。 3.根据权利要求1所述的一种基于计算机视觉桌面元素自动化提取的方法， 其特征在 于： 所述的步骤二包 含以下流 程： (2‑1).窗体图像的文字检测 和识别； (2‑2).窗体元 素的识别； (2‑3).元素与文本的融合。 4.根据权利要求1所述的一种基于计算机视觉桌面元素自动化提取的方法， 其特征在 于： 所述的步骤三包 含以下流 程； (3‑1).重定位元素的坐标； (3‑2).渲染窗体元 素， 提示用户选择目标窗体元 素； (3‑3).记录目标 元素。权　利　要　求　书 1/1 页 2 CN 114596398 A 2一种基于计算机 视觉桌面元素自动化提取的方 法 技术领域 [0001]本发明涉及计算机视觉桌面元素技术领域， 具体为一种基于计算机视觉桌面元素 自动化提取的方法。 背景技术 [0002]在机器人流程自动化(Robotic  Process Automation)中， 为了实现机器人非侵入 式与各种应用进行交互， 都需要对桌面元素进行识别。 桌面元素包括了Icon， Button， Checkbox， Radi oBox， Inputbox等窗体的基本元 素。 [0003]在通用的Windows应用和Web应用中， 桌面元素可以通过操作系统和Web driver等 接口， 获取元素的相关信息。 但是对于一些特殊的应用， 比如Flash  和一些特殊的系统， 上 述方法无法成功获取到桌 面元素。 针对这些场景， 对  RPA的实施和应用带来了 很大的挑战。 发明内容 [0004]本发明的目的在于提供一种基于计算机 视觉桌面元素自动化 提取的方法。 [0005]以解决上述背景技术提出的现有领域中在通用的Windows应用和Web应用中， 桌面 元素可以通过操作系统和Web  driver等接口， 获取元素的相关信息。 但是对于一些特殊的 应用， 比如Flash和一些 特殊的系统， 上述方法无法成功获取到桌 面元素的问题。 [0006]为实现上述目的， 本发明提供如下技术方案： 一种基于计算机视觉桌面元素自动 化提取的方法分为以下几个步骤： [0007]步骤一、 获取目标窗口图像； [0008]步骤二、 窗体中元 素的定位和识别； [0009]步骤三、 窗体的元 素的选择和 确认。 [0010]进一步优选， 所述的步骤一包 含以下流 程； [0011]1‑1.截取桌 面图像， 进行窗口识别； [0012]1‑2.窗口轮廓渲染， 提 示用户进行窗口选择； [0013]1‑3.截取窗口图像， 发送至云端元 素识别接口， 并记录窗口 的坐标和大小。 [0014]进一步优选， 所述的步骤二包 含以下流 程； [0015]2‑1.窗体图像的文字检测 和识别； [0016]2‑2.窗体元 素的识别； [0017]2‑3.元素与文本的融合； [0018]进一步优选， 所述的步 三包含以下流 程； [0019]3‑1.重定位元素的坐标； [0020]3‑2.渲染窗体元 素， 提示用户选择目标窗体元 素； [0021]3‑3.记录目标 元素。 [0022]与现有技术相比， 本 发明的有益效果是： 本方法能进行桌面元素的定位和识别， 不 仅适合Flash和一些 特殊的系统， 也 适用于其它通用场景的元 素识别。说　明　书 1/2 页 3 CN 114596398 A 3