(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210179523.1 (22)申请日 2022.02.25 (71)申请人 苏宁易购集团股份有限公司 地址 210000 江苏省南京市山西路8号金山 大厦1-5层 (72)发明人 张冠龙　曹艳敏　庞艳娟　 (74)专利代理 机构 北京市万慧达律师事务所 11111 专利代理师 黄玉东 (51)Int.Cl. G06F 8/38(2018.01) G06F 8/20(2018.01) G06F 9/451(2018.01) (54)发明名称 网页自动化机 器人处理方法及系统 (57)摘要 本发明公开了一种网页自动化机器人处理 方法及系统， 其中方法包括： 调用浏览器原生应 用服务接口， 执行与所述应用服务接口对应的浏 览器指令； 启动定位器进程， 定位用户鼠标动作； 基于所述用户鼠标动作， 获取对应的网页元素定 位信息； 基于所述网页元素定位信息， 查找网页 元素， 生成查找结果； 基于 所述查找结果， 触发执 行指令。 本发 明提供一种通用的浏览器自动化操 作、 网页元素原生检测以及元素自动执行的方 法， 提升页面交互能力， 使网页自动化在RPA流程 里变得高效便捷。 权利要求书2页 说明书8页 附图6页 CN 115098095 A 2022.09.23 CN 115098095 A 1.一种网页自动化机器人处 理方法， 其特 征在于， 应用于浏览器插 件， 包括： 调用浏览器原生应用服 务接口， 执 行与所述应用服 务接口对应的浏览器指令； 启动定位器进程， 定位用户鼠标动作； 基于所述用户鼠标动作， 获取对应的网页元 素定位信息； 基于所述网页元 素定位信息， 查找网页元 素， 生成查找结果； 基于所述 查找结果， 触发执 行指令。 2.根据权利要求1所述的网页自动 化机器人处理方法， 其特征在于， 所述的基于所述查 找结果， 触发执 行指令， 包括： 获取所述查找结果， 若网页中存在所述网页元素， 则触发操作指令， 操作所述网页元 素； 若所述网页中不存在所述网页元 素， 则触发返回指令 。 3.根据权利要求1所述的网页自动 化机器人处理方法， 其特征在于， 所述的调用浏览器 原生应用服 务接口， 执 行与所述应用服 务接口对应的浏览器指令， 包括： 调用浏览器原生的导 航到网址 接口， 执行打开网页指令； 和/或调用浏览器原生的前进接口， 执 行前进指令； 和/或调用浏览器原生的后退接口， 执 行后退指令； 和/或调用浏览器原生的获取源码接口， 执 行获取源码指令； 和/或调用浏览器原生的切换tab页接口， 执 行切换tab页指令； 和/或调用浏览器原生的刷新接口， 执 行刷新浏览器指令 。 4.根据权利要求1所述的网页自动 化机器人处理方法， 其特征在于， 所述的基于所述用 户鼠标动作， 获取对应的网页元 素定位信息， 包括： 当用户鼠标滑过 所述网页元 素时， 根据鼠标焦点在当前网页的坐标， 生成元 素id属性； 根据所述元素id属性， 获取所述网页元素的矩形框边界值， 基于所述矩形框边界值生 成对所述网页元 素的遮罩， 生成所述遮罩代 表捕获到所述网页元 素； 根据所述遮罩和所述元 素id属性， 获取 所述网页元 素的定位信息 。 5.根据权利要求2所述的网页自动 化机器人处理方法， 其特征在于， 所述的触发执行指 令， 操作所述网页元 素， 包括： 调用系统类库发送键盘鼠标消息， 基于所述键盘鼠标消息， 操作所述网页元 素。 6.根据权利要求4所述的网页自动 化机器人处理方法， 其特征在于， 所述矩形框边界值 包括： 所述网页元素左端点距离屏幕左侧的距离、 所述网页元素右端点距离屏幕左侧的距 离、 所述网页元素上端点距离屏幕顶部的距离和所述网页元素下端点距离屏幕顶部的距 离。 7.一种网页自动化机器人处 理系统， 其特 征在于， 所述系统包括： 调用单元： 用于调用 浏览器原生应用服务接口， 执行与所述应用服务接口对应的浏览 器指令； 定位单元： 用于启动定位器进程， 定位用户鼠标动作； 获取单元： 基于所述用户鼠标动作， 获取对应的网页元 素定位信息； 查询单元： 基于所述网页元 素定位信息， 查找网页元 素， 生成查找结果；权　利　要　求　书 1/2 页 2 CN 115098095 A 2执行单元： 基于所述 查找结果， 触发执 行指令。 8.根据权利要求7所述的网页自动化机器人处理系统， 其特征在于， 所述执行单元包 括： 获取所述查找结果， 若网页中存在所述网页元素， 则触发执行指令， 操作所述网页元 素； 若所述网页中不存在所述网页元 素， 则触发返回指令 。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述的网页自动化机器人处 理方法的步骤。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处理器执行时实现如权利要求1至7任一项所述的网页自动化机器人处理方法的 步骤。权　利　要　求　书 2/2 页 3 CN 115098095 A 3