(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210944399.3 (22)申请日 2022.08.08 (65)同一申请的已公布的文献号 申请公布号 CN 115061769 A (43)申请公布日 2022.09.16 (73)专利权人 杭州实在智能科技有限公司 地址 310000 浙江省杭州市余杭区余杭街 道文一西路1818-2号6幢6层 (72)发明人 宋志龙　孙林君　张军燕　 (74)专利代理 机构 浙江永鼎律师事务所 3 3233 专利代理师 周希良 (51)Int.Cl. G06F 9/451(2018.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) 审查员 辛小霞 (54)发明名称 用于支持跨分辨率的自迭代RPA界面元素匹 配方法及系统 (57)摘要 本发明属于RPA元素匹配技术领域， 具体涉 及用于支持跨分辨率的自迭代RPA界面元素匹配 方法及系统。 方法包括： S1， 拾取大量界面元素并 按类别标注， 同时构建具备多尺度特征融合能力 的深度神经网络模型； S2， 训练模型， 并优化模型 参数， 获得具有元素特征提取能力和特征区分能 力的深度神经网络模型； S3， 使用深度神经网络 模型分别提取目标元素和界面各元素的特征， 依 次进行相似度计算， 并比较计算的相似度和预设 相似度阈值， 获得匹配结果； S4， 导出RPA流程执 行过程中的匹配错误样例， 用户对匹配错误样例 进行检查和标注， 并导入深度神经网络模型， 完 成在线迭代优化。 权利要求书2页 说明书8页 附图6页 CN 115061769 B 2022.11.11 CN 115061769 B 1.用于支持跨分辨 率的自迭代RPA界面元 素匹配方法， 其特 征在于， 包括如下步骤； S1， 拾取大量界面元素并按类别标注， 同时构建具备多尺度特征融合能力的深度神经 网络模型； S2， 训练深度神经网络模型， 并优化深度神经网络模型参数， 获得具有元素特征提取能 力和特征区分能力的深度神经网络模型， 并将模型集成到RPA元 素匹配系统中； S3， 执行界面运行所制定的RPA流程， 使用步骤S2获得的深度神经网络模型分别提取目 标元素和界面各元素 的特征， 依 次进行相似度计算， 并比较计算的相似度和预设相似度阈 值， 获得匹配结果； S4， 导出RPA流程执行过程中的匹配错误样例， 用户对匹配错误样例进行检查和标注， 并导入深度神经网络模型， 完成模型的在线迭代优化； 步骤S1中， 所述构建具 备多尺度特 征融合能力的深度神经网络模型包括如下步骤： S11， 主干网络在对元 素图像进行 特征提取过程中， 提取多 级特征； 其中， 多级特征的每一级特 征均有不同的感受野， 每 个感受野代 表不同尺度的特 征； S12， 构建多尺度特征融合网络结构， 并与主干网络输出的多个尺度的特征进行融合， 得到具有 多尺度特 征融合能力的深度神经网络模型； 步骤S3包括如下步骤： S31， 将目标 元素图片经 过预处理后送入深度神经网络模型， 提取目标 元素特征； S32， 使用目标检测网络检测界面所有元素， 将所有元素分别经过预处理后送入到深度 神经网络模型， 提取界面各 元素的特征； S33， 特征匹配时， 将目标元素特征与界面各元素特征逐个进行相似度计算； 当相似度 超过预设阈值时， 表示特征匹配成功； 如果所有相似度均没有达到预设阈值， 则表示当前界 面不含和目标 元素相同的元 素。 2.根据权利要求1所述的用于支持跨分辨率的自迭代RPA界面元素匹配方法， 其特征在 于， 步骤S2包括如下步骤： S21， 使用大量标注的界面元素训练深度神经网络模型， 并使用分类损失和对比学习损 失来优化深度神经网络模型参数， 获得具有 元素特征提取能力和特征区分能力的深度神经 网络模型。 3.根据权利要求1所述的用于支持跨分辨率的自迭代RPA界面元素匹配方法， 其特征在 于， 步骤S3 3中， 所述相似度计算具体为： 计算目标 元素特征与界面各 元素特征的余弦距离 。 4.根据权利要求1所述的用于支持跨分辨率的自迭代RPA界面元素匹配方法， 其特征在 于， 步骤S4包括如下步骤： S41， 用户执 行RPA流程后， 系统自动导出匹配错 误样例； S42， 用户自行对匹配错误样例进行检查和标注后， 导入深度神经网络模型， 所述深度 神经网络模型对匹配错 误样例进行识别训练， 完成深度神经网络模型的在线迭代优化。 5.用于支持跨分辨率的自迭代RPA界面元素匹配系统， 用于实现权利要求1 ‑4任一项所 述的用于支持跨分辨率的自迭代RPA界面元素匹配方法， 其特征在于， 所述用于支持跨分辨 率的自迭代RPA界面元 素匹配系统包括： 界面元素拾取模块， 用于拾取 大量界面元 素并按类别标注；权　利　要　求　书 1/2 页 2 CN 115061769 B 2深度神经网络模型训练模块， 用于构建具备多尺度特征融合能力的深度神经网络模 型， 并训练深度神经网络模 型， 优化深度神经网络模型参数， 获得具有 元素特征提取能力和 特征区分能力的深度神经网络模型； 特征提取和匹配模块， 用于通过深度神经网络模型分别提取目标元素和界面各元素的 特征， 依次进行相似度计算， 并比较 计算的相似度和预设相似度阈值， 获得匹配结果； 匹配模型在线优化模块， 用于导出RPA流程执行过程中的匹配错误样例， 用户对 匹配错 误样例进行检查和标注， 并导入深度神经网络模型， 完成模型的在线迭代优化。 6.根据权利要求5所述的用于支持跨分辨率的自迭代RPA界面元素匹配系统， 其特征在 于， 所述深度神经网络模型训练模块包括： 深度神经网络模型构建模块， 用于主干网络在对元素图像进行特征提取过程中， 提取 多级特征， 以及构建多尺度特征融合网络结构， 并与主干网络输出 的多个尺度的特征进行 融合， 得到具有 多尺度特 征融合能力的深度神经网络模型。权　利　要　求　书 2/2 页 3 CN 115061769 B 3