(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111414256.3 (22)申请日 2021.11.25 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞 市长安镇乌沙海 滨路18号 (72)发明人 陈科鑫　陈明　张晓帆　 (74)专利代理 机构 深圳市智圈知识产权代理事 务所(普通 合伙) 44351 代理人 苗燕 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 控件识别方法、 装置、 电子设备及存 储介质 (57)摘要 本申请实施例公开了一种控件识别方法、 装 置、 电子设备及存储介质。 所述方法包括： 获取待 识别控件； 将所述待识别控件的图像输入到控件 识别模型中的深度学习分类模块， 获取所述深度 学习分类模块输出的所述待识别控件对应的特 征向量； 将所述特征向量输入到所述控件识别模 型中的机器学习分类模块中， 获取所述机器学习 分类模块输出的所述待识别控件的控件识别结 果。 从而通过构建包括深度学习分类模块以及机 器学习分类模块的控件识别模型， 使得通过该控 件识别模型来对待识别控件进行识别的过程中， 可以使得机器学习分类模块可以基于深度学习 分类模块所输出的特征向量对待识别控件进行 分类， 从而提高了控 件识别的准确性。 权利要求书2页 说明书13页 附图10页 CN 114120078 A 2022.03.01 CN 114120078 A 1.一种控 件识别方法， 其特 征在于， 所述方法包括： 获取待识别控 件； 将所述待识别控件的图像输入到控件识别模型中的深度 学习分类模块， 获取所述深度 学习分类模块输出的所述待识别控 件对应的特 征向量； 将所述特征向量输入到所述控件识别模型中的机器学习分类模块中， 获取所述机器学 习分类模块输出的所述待识别控 件的控件识别结果。 2.根据权利要求1所述的方法， 其特 征在于， 所述获取待识别控 件， 包括： 获取当前用户界面对应的控 件树； 遍历所述控 件树， 以获取 所述控件树对应的所有控 件的控件信息； 基于所述控 件信息对所述控 件树对应的所有控 件进行筛 选， 得到待识别控 件。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述控件信 息对所述控件树对应 的所有控 件进行筛 选， 得到待识别控 件， 包括： 基于所述控 件信息， 对所述控 件树对应的所有控 件进行筛 选， 得到参 考控件； 获取所述参考控件和控件模板库中所包括的控 件的相似度； 基于所述相似度对所述 参考控件进行筛 选， 得到所述待识别控 件。 4.根据权利要求3所述的方法， 其特征在于， 所述获取所述参考控件和控件模板库中所 包括的控 件的相似度， 包括： 将所述参考控件的图像输入到特征提取模型中， 获取所述特征提取模型输出的所述参 考控件各自对应的特 征向量； 将所述控件模板库中所包括的控件的图像输入到所述特征提取模型中， 获取所述特征 提取模型输出的所述控 件模板库中所包括的控 件各自对应的特 征向量； 基于所述参考控件各自对应的特征向量和所述控件模板库中所包括的控件各自对应 的特征向量， 确定所述 参考控件和控件模板库中所包括的控 件的相似度。 5.根据权利要求4所述的方法， 其特征在于， 所述特征向量为图像对应的纹理特征和图 像对应的形状特 征进行拼接后得到 。 6.根据权利要求3所述的方法， 其特征在于， 所述基于所述相似度， 对所述参考控件进 行筛选， 得到所述待识别控 件， 包括： 将相似度大于或等于预设相似度的参 考控件， 确定为所述待识别控 件。 7.根据权利要求3所述的方法， 其特征在于， 所述基于所述控件信息， 对所述控件树对 应的所有控 件进行筛 选， 得到参 考控件， 包括以下 方式中的至少一种： 基于所述控件信 息确定对应的控件为用户可交互控件， 且所述用户可交互控件以及所 述用户可交 互控件的子控 件的文本信息为空， 将所述用户可交 互控件作为参考控件； 基于所述控件信 息确定对应的控件的父控件以及兄弟控件未包括文本信 息， 将所述控 件信息对应的控 件作为参考控件； 基于所述控件信 息确定对应的控件的文本信 息或属性信 息缺失， 则将所述控件信 息对 应的控件作为参考控件； 基于所述控件信 息确定对应的控件的尺寸比例满足预设尺寸比例， 则将所述控件信 息 对应的控 件作为参考控件； 基于所述控件信 息确定对应的控件的控件类型为预设控件类型， 则将所述控件信 息对权　利　要　求　书 1/2 页 2 CN 114120078 A 2应的控件作为参考控件； 以及 基于所述控件信 息确定对应的控件对应有重叠的控件， 则将所述对应的控件和所述重 叠的控件两者中未被覆盖或未被完全覆盖的控 件作为参考控件。 8.根据权利要求3所述的方法， 其特征在于， 所述基于所述控件信息， 对所述控件树对 应的所有控 件进行筛 选， 得到参 考控件， 包括： 基于所述控件信 息从所述控件树对应的所有控件中确定第 一待参考控件， 所述第 一待 参考控件为所述控件树对应的所有控件中， 除基于所述控件信息确定的对应的控件为用户 可交互控件， 且所述用户可交互控件以及所述用户可 交互控件的子控件的文本信息为不为 空的控件之外的控 件； 基于所述第一待参考控件的所述控件信息从所述第一待参考控件中确定第二待参考 控件， 所述第二待参考控件为所述第一待参考控件中， 除基于所述控件信息确定的对应的 控件的父控 件以及兄弟控 件包括文本信息的控 件之外的控 件； 基于所述第二待参考控件的所述控件信息从所述第二待参考控件中确定第三待参考 控件， 所述第三待参考控件为所述第二待参考控件中， 除基于所述控件信息确定的对应的 控件的文本信息和 属性信息 完整的控 件之外的控 件； 基于所述第三待参考控件的所述控件信息从所述第三待参考控件中确定第四待参考 控件， 所述第四待参考控件为所述第三待参考控件中， 除基于所述控件信息确定的对应的 控件的尺寸比例不满足预设尺寸比例的控 件之外的控 件； 基于所述第四待参考控件的所述控件信息从所述第四待参考控件中确定第五待参考 控件， 所述第 五待参考控件为所述第四待参考控件中， 除基于所述控件信息确定的对应的 控件的控件类型不 为预设控 件类型的控 件之外的控 件； 基于所述第五待参考控件的所述控件信息从所述第五待参考控件中确定所述参考控 件， 所述参考控件为所述第 五待参考控件中， 除基于所述控件信息确定的对应的控件对应 有重叠的控件， 且所述对应的控 件和所述重 叠的控件中被完全覆盖的控 件之外的控 件。 9.一种控 件识别装置， 其特 征在于， 所述装置包括： 控件获取单元， 用于获取待识别控 件； 向量获取单元， 用于将所述待识别控件的图像输入到控件识别模型中的深度 学习分类 模块， 获取 所述深度学习分类模块输出的所述待识别控 件对应的特 征向量； 结果获取模型， 用于将所述特征向量输入到所述控件识别模型中的机器学习分类模块 中， 获取所述机器学习分类模块输出的所述待识别控 件的控件识别结果。 10.一种电子设备， 其特征在于， 包括一个或多个处理器； 一个或多个程序被存储在所 述存储器中并被 配置为由所述 一个或多个处 理器执行权利要求1 ‑8任一所述的方法。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有程序代 码， 其中， 在所述 程序代码被处 理器运行时执 行权利要求1 ‑8任一所述的方法。 12.一种计算机程序产品， 包括计算机程序/指令， 其特征在于， 该计算机程序/指令被 处理器执行时实现权利要求1 ‑8任一所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114120078 A 3