(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210971356.4 (22)申请日 2022.07.28 (71)申请人 上海弘玑信息技 术有限公司 地址 200241 上海市闵行区紫星路58 8号2 幢13层055室 (72)发明人 黄博　周俊焘　张泉　周元剑　 周健　 (74)专利代理 机构 上海湾谷知识产权代理事务 所(普通合伙) 31289 专利代理师 倪继祖 (51)Int.Cl. G06F 9/451(2018.01) (54)发明名称 图形用户界面图片 辅助标注方法、 电子设备 及储存介质 (57)摘要 本申请涉及一种图形用户界面图片辅助标 注方法、 电子设备及储存介质， 通过图形用户界 面匹配计算前处理方法和后处理方法， 根据模板 图片， 计算目标图片中与模板完全相同的部分， 将相同的地方抹去， 无需标注， 并将模板中的标 注复制到目标图片中去， 以此对图形用户界面中 完全相同的部分减少重复标注， 大大降低标注工 作量， 减小 图形用户界面的元素标注成本， 提高 图形用户界面的解析效率。 权利要求书2页 说明书11页 附图4页 CN 115291992 A 2022.11.04 CN 115291992 A 1.一种图形用户界面匹配 计算前处 理方法， 其特 征在于， 包括如下步骤： 获取目标图片和模板图片； 根据不同的重叠放置方法， 将所述目标图片和所述模板 图片进行重叠放置， 获得每种 重叠放置方法中的匹配区域； 从所有的匹配区域中， 获取最优匹配区域， 并对所述 最优匹配区域进行缩放处 理； 根据缩放处理后的所述最优匹配区域， 对所述目标图片中相对应的位置区域进行标记 处理， 并将未 标记的位置区域作为所述目标图片的待标注剩余图。 2.根据权利要求1所述的图形用户界面匹配计算前处理方法， 其特征在于， 所述获取目 标图片和模板图片， 包括： 获取若干图形用户界面图片； 根据预设分类原则， 从所述图形用户界面图片中， 选择出一张所述图形用户界面图片， 作为所述模板图片； 将剩余的所述图形用户界面图片， 作为与所述模板图片相对应的所述目标图片。 3.根据权利要求1所述的图形用户界面匹配计算前处理方法， 其特征在于， 根据不同的 重叠放置方法， 将所述 目标图片和所述模板图片进行重叠放置， 获得每种重叠放置方法中 的匹配区域， 包括： 将所述模板图片与每一张所述目标图片， 依次进行重 叠放置； 对所述模板图片和所述目标图片上的重叠区域， 对比判断两者的重叠区域的像素是否 相匹配； 获取像素相匹配的重 叠区域， 作为所述模板图片和所述目标图片之间的匹配区域； 基于上述 步骤， 获取每种重 叠放置方法中的匹配区域。 4.根据权利要求1所述的图形用户界面匹配计算前处理方法， 其特征在于， 从所有的匹 配区域中， 获取最优匹配区域， 并对所述 最优匹配区域进行缩放处 理， 包括： 计算每种重 叠放置方法中的匹配区域的区域 面积； 获取面积最大的匹配区域及其对应的重叠放置方法， 将面积最大的匹配区域作为所述 最优匹配区域； 根据预设缩放比例， 对所述最优匹配区域进行缩减处理， 得到缩放处理后的所述最优 匹配区域。 5.根据权利要求1所述的图形用户界面匹配计算前处理方法， 其特征在于， 根据缩放处 理后的所述最优匹配区域， 对所述 目标图片 中相对应的位置区域进行标记处理， 并将未标 记的位置区域作为所述目标图片的待标注剩余图， 包括： 根据缩放处理后的所述最优匹配区域， 在所述目标图片中找到与所述最优匹配区域相 对应的位置区域； 对所述目标图片中的位置区域进行 标记处理， 得到位于所述目标图片中的标记区域； 将所述目标图片中的未 标记区域， 确定为所述目标图片中的待标注剩余图。 6.一种图形用户界面匹配 计算后处 理方法， 其特 征在于， 包括如下步骤： 输入模板图片和目标图片； 基于权利要求1 ‑5中任一项所述的图形用户界面匹配计算前处理方法， 获得最优匹配 区域；权　利　要　求　书 1/2 页 2 CN 115291992 A 2基于所述最优匹配区域， 将所述模板 图片中的标注与所述目标图片中的标注相结合， 共同生成所述目标图片的标注。 7.根据权利要求6所述的图形用户界面匹配计算后处理方法， 其特征在于， 基于所述最 优匹配区域， 将所述模板图片 中的标注与所述 目标图片 中的标注相结合， 共同生成所述 目 标图片的标注， 包括： 根据所述最优匹配区域的区域位置， 获取所述模板图片中与 所述最优匹配区域相对应 的区域位置内的标注； 根据所述 最优匹配区域， 获取 所述目标图片中的待标注剩余图的标注； 将所述模板图片中的与所述最优匹配区域相对应的区域位置 内的标注， 粘贴到所述目 标图片中的与所述最优匹配区域相对应的区域位置中， 并结合所述目标图片中的待标注剩 余图的标注， 共同生成所述目标图片的标注。 8.一种图形用户界面图片辅助标注方法， 其特 征在于， 包括如下步骤： 输入若干图形用户界面图片； 基于权利要求1 ‑5中任一项所述的图形用户界面匹配计算前处理方法， 从图形用户界 面图片中确定出模板图片和目标图片， 并计算得到所述目标图片中的待标注剩余图； 将所述模板图片和所述待标注剩余图， 分别进行 标注； 基于权利要求6 ‑7中任一项所述的图形用户界面匹配计算前处理方法， 将模板 图片中 的与所述最优匹配区域相对应的区域位置内的标注， 与所述待标注剩余图中的标注相结 合， 共同生成所述目标图片的标注； 基于上述 步骤， 确定出每张所述目标图片的标注。 9.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为执行所述可执行指令时实现权利要求1 ‑8中任一项所述的 方法。 10.一种计算机储存介质， 其特征在于， 所述计算机储存介质上存储有计算机程序， 所 述程序被处 理器执行时实现权利要求1 ‑8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115291992 A 3