(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210950449.9 (22)申请日 2022.08.09 (71)申请人 杭州分叉智能科技有限公司 地址 311121 浙江省杭州市余杭区仓前街 道鼎创财富中心 2幢3层303室 (72)发明人 代培　 (74)专利代理 机构 杭州万合知识产权代理事务 所(特殊普通 合伙) 33294 专利代理师 万珠明　丁海华 (51)Int.Cl. G06F 9/451(2018.01) G06Q 10/10(2012.01) G06F 9/54(2006.01) (54)发明名称 一种基于RPA实现智能录制的方法 (57)摘要 本发明公开了一种基于RPA实现智能录制的 方法， 通过监控并跟随鼠标及键盘两个输入端在 操作页面上的操作过程， 由RPA机器人处理鼠标 和键盘的监控消息， 实现对键盘按键和鼠标消息 的指令录制； 所述键盘操作的监控通过键盘监控 器负责监听键盘按键； 所述鼠标的监控通过鼠标 监控器负责监听鼠标消息； 所述监控消息的处理 是将按键消息和鼠标消息添加到全局消息队列 中， 然后RPA机器人启动线程， 监控全局消息队 列， 并从全局消息队列里获取一条消息进行处 理， 将其转换为指令。 本发明可以降低RPA指令集 的搭建难度与使用门槛， 能够实现指令的快速的 搭建， 省去繁琐的拖拽和捕获元 素的过程。 权利要求书2页 说明书5页 CN 115269102 A 2022.11.01 CN 115269102 A 1.一种基于RPA实现智能录制的方法， 通过监控并跟随鼠标及键盘两个输入端在操作 页面上的操作过程， 由RPA机器人 处理鼠标和键盘的监控消息， 实现对键盘按键和鼠标消息 的指令录制； 其特征在于： 所述键盘操作的监控通过键盘监控器负责监听键盘按键； 所述键 盘监控器内部 设有键盘钩子， 键盘钩子中设置键盘钩子回调函数， 当有键盘按 下时， 触发键 盘钩子回调函数来处 理按键消息； 所述鼠标的监控通过鼠标监控器负责监听鼠标消息； 所述鼠标监控器内设有鼠标钩 子， 鼠标钩子中设置有鼠标钩子回调函数； 当有鼠标操作时， 触发鼠标钩子回调函数来处理 鼠标消息； 所述监控消息的处理是将按键消息和鼠标消息添加到全局消息队列中， 然后RPA机器 人启动线程， 监控全局消息队列， 并从全局消息队列里获取一条消息进 行处理， 将其转换为 指令。 2.根据权利要求1所述的基于RPA实现智能录制的方法， 其特征在于： 所述键盘钩子回 调函数为HookFunc， 设置方法是接收一个int类型的结构体， 通过消息 响应机制判断消息类 型是否是按下键或者松开键， 并获取到按下的虚拟按键值； 键盘钩子回调函数处理按键消息是通过注册Windows  API来获取消息， 然后利用当前 应用程序所在路径及环 境变量方法获取到进程模块， 再通过SetWindowsHookEx方法获取到 返回的句柄， 使当前进程模块能够监视到Winddows的WH_KETBOARD_LL消息， 当有键盘按下 时， 触发键盘钩子回调函数来处 理按键消息， 并向全局 消息队列发送。 3.根据权利要求1所述的基于RPA实现智能录制的方法， 其特征在于： 所述鼠标消息包 括鼠标移动、 鼠标滚轮、 双击、 按 下中间按钮、 松 开中间按钮、 按 下鼠标右键、 松 开鼠标右键、 按下鼠标左键和松开鼠标左键 。 4.根据权利要求1所述的基于RPA实现智能录制的方法， 其特征在于： 所述鼠标钩子回 调函数为HookFunc， 设置方法是接收一个int类型的结构体， 通过消息 响应机制判断鼠标消 息类型； 鼠标钩子回调函数处理鼠标消息是通过注册Windows  API来获取消息， 然后利用当前 应用程序所在路径及环 境变量方法获取到进程模块， 再通过SetWindowsHookEx方法获取到 返回的句柄， 使当前进程模块能够监视到Winddow s的WINDOWS_HOOK_ID.WH_MOUSE_LL消息， 当有鼠标操作时， 触发鼠标钩子回调函数来处 理鼠标消息， 并向全局 消息队列发送。 5.根据权利要求1所述的基于RPA实现智能录制的方法， 其特征在于： 在对监控消息的 处理时， 当消息类型为鼠标消息， 且按 下鼠标的左键、 右键、 中间键中的任意一个时， 冻结键 盘观察者的字 符和热键输入序列， 将捕获的按键信息添加到RPA机器人的指 令列表， 紧接着 获取鼠标点击的坐标， 通过函数获取窗口句柄， 通过找出某个窗口的创建者方法传入窗口 句柄拿到进程的ID， 如果当前进程是为 RPA机器人， 则不做处理， 如果是其他进程， 则解析本 次点击的动作： 当按下鼠标的左键、 右键、 中间键中的任意一个时， 获取点击的坐标， 调用 UIA探测进程， 捕获点击位置的元 素信息， 再将刚才捕获的元 素添加到指令列表。 6.根据权利要求1所述的基于RPA实现智能录制的方法， 其特征在于： 在对监控消息的 处理时， 当消息类型为按键消息， 对消息进行解析， 若按键为Ctrl、 Alt、 Win且为按下键时， 清空字符输入序列， 调用UIA探测进程， 将热键 输入元素填充为捕获到的元 素； 若热键序列为空且为松开时， 则清除字符序列， 将捕获的按键信息添加指令列表， 将权　利　要　求　书 1/2 页 2 CN 115269102 A 2None键添加到热键序列， 将 捕获的按键信息添加指令列表并清除热键序列； 若热键序列不为空且为松开按键时， 将捕获的按键信息添加指令列表， 表示为常规的 按键。权　利　要　求　书 2/2 页 3 CN 115269102 A 3