(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210096194.4 (22)申请日 2022.01.26 (71)申请人 北京字节跳动网络技 术有限公司 地址 100041 北京市石景山区实兴大街3 0 号院3号楼 2层B-0035房间 (72)发明人 李彬　石其鑫　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 温易娜 (51)Int.Cl. G06F 9/451(2018.01) G06F 11/36(2006.01) (54)发明名称 界面元素定位方法、 装置、 存储介质及电子 设备 (57)摘要 本公开涉及一种界面元素定位方法、 装置、 存储介质及电子设备， 其中方法包括： 获取待测 试的目标界面元素以及目标界面元素在界面内 的目标位置信息； 在待测试界面中查找与目标界 面元素相匹配的候选界面元素； 确定候选界面元 素在待测试界面中的位置信息与 目标位置信息 间的第一相似度是否符合预设相似 条件； 如果第 一相似度符合预设相似条件， 则确定候选界面元 素为目标界面元素在待测试界面中的对应界面 元素。 通过将目标界面元素在界面内的目标位置 信息， 与候选界面元素在待测试界面中的位置信 息进行相似度判断， 可以将误识别的界面元素筛 除， 从而准确得到目标界面元素在待测试界面中 的对应界面元 素。 权利要求书2页 说明书14页 附图3页 CN 114489903 A 2022.05.13 CN 114489903 A 1.一种界面元 素定位方法， 其特 征在于， 包括： 获取待测试的目标界面元 素以及所述目标界面元 素在界面内的目标位置信息； 在待测试界面中查找与所述目标界面元 素相匹配的候选界面元 素； 确定所述候选界面元素在所述待测试界面中的位置信息与所述目标位置信息间的第 一相似度是否符合预设相似条件； 如果所述第 一相似度符合所述预设相似条件， 则确定所述候选界面元素为所述目标界 面元素在所述待测试界面中的对应界面元素， 且将所述候选界面元素在所述待测试界面中 的位置确定为所述目标界面元 素在所述待测试界面中的位置 。 2.根据权利要求1所述的方法， 其特征在于， 所述目标位置信 息包括所述目标界面元素 的各顶点在所述界面中的区域信息； 所述确定所述候选界面元素在所述待测试界面中的位 置信息与所述目标位置信息间的第一相似度是否符合预设相似条件， 包括： 确定所述 候选界面元 素的各顶点在所述待测试界面中的区域信息； 比较所述候选界面元素各顶点的区域信息与所述目标界面元素中对应顶点的区域信 息是否相同； 根据比较结果， 确定所述第一相似度是否符合所述预设相似条件。 3.根据权利要求2所述的方法， 其特征在于， 所述根据比较结果， 确定所述第一相似度 是否符合所述预设相似条件， 包括： 如果所述候选界面元素的所有顶点的区域信息均与所述目标界面元素的对应顶点的 区域信息相同， 则确定所述第一相似度符合所述预设相似条件。 4.根据权利要求3所述的方法， 其特征在于， 所述目标位置信 息还包括所述目标界面元 素内的辅助参考点在所述界面中的区域信息； 所述根据比较结果， 确定所述第一相似度是 否符合所述预设相似条件， 还 包括： 如果所述候选界面元素存在至少一个顶点的区域信息与所述目标界面元素的对应顶 点的区域信息不同， 则确定所述候选界面元素是否存在一半以上顶点的区域信息与所述目 标界面元 素的对应顶点的区域信息相同； 如果所述候选界面元素存在一半以上顶点的区域信息与所述目标界面元素的对应顶 点的区域信息相同， 则获取所述候选界面元素内的辅助参考点在所述待测试界面中的区域 信息； 判断所述候选界面元素内的辅助参考点的区域信息是否与所述目标界面元素内的所 述辅助参 考点的区域信息相同； 如果所述候选界面元素内的辅助参考点的区域信息与所述目标界面元素内的所述辅 助参考点的区域信息相同， 则确定所述第一相似度符合所述预设相似条件。 5.根据权利要求1所述的方法， 其特征在于， 所述在待测试界面中查找与所述目标界面 元素相匹配的候选界面元 素， 包括： 在待测试界面中查找与所述目标界面元 素相匹配的原 始界面元 素； 根据所述待测试界面对应的界面分辨率， 对所述目标界面元素进行尺寸调整， 得到调 整后的目标界面元 素； 计算所述原始界面元素与 所述调整后的目标界面元素的第 二相似度， 在所述第 二相似 度大于预设阈值的情况 下， 将所述原 始界面元 素确定为所述 候选界面元 素。权　利　要　求　书 1/2 页 2 CN 114489903 A 26.根据权利要求1所述的方法， 其特征在于， 所述在待测试界面中查找与所述目标界面 元素相匹配的候选界面元 素， 包括： 通过特征点匹配算法将所述目标界面元素与所述待测试界面进行匹配， 以从所述待测 试界面中查找与所述目标界面元 素相匹配的候选界面元 素； 如果通过所述特征点匹配算法未能从所述待测试界面中查找到所述候选界面元素， 则 通过模板匹配算法将所述目标界面元 素与所述待测试界面进行 再次匹配。 7.根据权利要求6所述的方法， 其特征在于， 所述在待测试界面中查找与所述目标界面 元素相匹配的候选界面元 素， 还包括： 如果通过所述模板匹配算法未能从所述待测试界面中查找到所述候选界面元素， 则生 成匹配失败提 示， 以提示当前无法确定所述目标界面元 素在所述待测试界面中的位置 。 8.根据权利要求6或7所述的方法， 其特征在于， 所述模板匹配算法采用的是基于归一 化平方差的匹配规则。 9.一种界面元 素定位装置， 其特 征在于， 包括： 目标元素获取模块， 用于获取待测试的目标界面元素以及所述目标界面元素在界面内 的目标位置信息； 候选元素查找模块， 用于在待测试界面中查找与 所述目标界面元素相匹配的候选界面 元素； 候选元素筛选模块， 用于确定所述候选界面元素在所述待测试界面中的位置信 息与所 述目标位置信息间的第一相似度是否符合预设相似条件； 目标元素确定模块， 用于在所述第一相似度符合所述预设相似条件的情况下， 确定所 述候选界面元素为所述目标界面元素在所述待测试界面中的对应界面元素， 且将所述候选 界面元素在所述待测试界面中的位置确定为所述目标界面元素在所述待测试界面中的位 置。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理装 置执行时实现权利要求1 ‑8中任一项所述方法的步骤。 11.一种电子设备， 其特 征在于， 包括： 存储装置， 其上存 储有计算机程序； 处理装置， 用于执行所述存储装置 中的所述计算机程序， 以实现权利要求1 ‑8中任一项 所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114489903 A 3