(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210477321.5 (22)申请日 2022.05.04 (71)申请人 中国第一汽车股份有限公司 地址 130011 吉林省长 春市汽车 经济技术 开发区新红旗大街1号 (72)发明人 王唯正　王德平　陈涛　孙玉洋　 姜大力　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 陈晶 (51)Int.Cl. G06F 11/36(2006.01) G06F 9/451(2018.01) G06F 16/958(2019.01) G06V 20/62(2022.01)G06V 40/12(2022.01) (54)发明名称 一种基于图像识别能力的终端应用自动化 测试装置、 系统、 方法、 设备以及存 储介质 (57)摘要 一种基于图像识别能力的终端应用自动化 测试装置、 系统、 方法、 设备以及存储介质。 所述 云端测试管理平台用于统筹管理整体的测试任 务、 测试用例和APP知识库， 发送给测试操作平 台； 所述AI云服务平台用于为测试操作平台提供 图像识别和文字识别的能力， 发送结果给测试操 作平台； 所述测试操作平台用于加载测试任务、 测试用例和测试知识库， 并根据既定程序反向控 制终端设备执行自动化测试任务， 并实时监控终 端待测试设备内软件的运行过程， 请求AI 云服务 平台获取软件执行过程中界面流转信息和文字 提示， 通过与APP知识库对比， 分析执行结果； 所 述终端设备用于运行待测试应用软件， 并与测试 操作平台建立通讯连接， 接收控制指令和传输图 像数据。 权利要求书3页 说明书11页 附图4页 CN 114896148 A 2022.08.12 CN 114896148 A 1.一种基于图像识别能力的终端应用自动 化测试装置， 其特征在于， 所述装置包括： 云 端测试管理平台、 AI云服 务平台、 测试操作平台和终端设备； 所述云端测试管理平台用于统筹管理整体的测试任务、 测试用例和APP知识库， 发送给 测试操作平台； 所述AI云服务平台用于为测试操作平台提供图像识别和文字识别的能力， 发送结果给 测试操作平台； 所述测试操作平台用于加载测试任务、 测试用例和测试知识库， 并根据既定程序反向 控制终端设备执行自动化测试任务， 并实时监控终端待测试设备内软件的运行过程， 请求 AI云服务平台获取软件 执行过程中界面流转信息和文字提示， 通过与 APP知识库对比， 分析 执行结果； 所述终端设备用于运行待测试应用软件， 并与测试操作平台建立通讯连接， 接收控制 指令和传输图像数据。 2.根据权利要求1所述的一种基于图像识别能力的终端应用自动化测试装置， 其特征 在于， 所述云端测试管理平台包括测试用例管理、 测试任务管理、 测试任务发布、 知识库管 理、 测试结果收集、 测试 结果分析、 通信网关和WEB可视化网站； 所述测试用例管理用于提供测试用例的录入、 提供测试用例的管理和数据库存储录入 的测试用例； 所述测试任务管理用于提供测试任务的编辑、 提供测试任务的管理和数据库存储录入 的测试任务； 所述测试任务发布用于根据测试任务的设定参数统筹管理测试任务的执行、 停止和中 断， 并将测试任务推送到测试操作平台； 所述知识库管理用于对待测试软件内的每个UI图进行编号与UI图片进行对应存储、 记 录控件属性和按照 编号记录待测试 软件的UI 流转关系图； 所述测试 结果收集用于收集测试操作平台上报的测试 结果， 并存 储到数据库； 所述测试结果分析用于分析测试结果数据和提供可视化模块， 并将测试任务执行结果 通过邮件、 短信和即时通信软件的手段发送通知； 所述通信网关用于物联网 网关， 并提供与测试平台设备的上 下行通信的能力； 所述WEB可视化网站用于提供 各类任务的操作入口和提供 可视化web页面展示。 3.根据权利要求1所述的一种基于图像识别能力的终端应用自动化测试装置， 其特征 在于， 所述AI云服 务平台包括UI界面识别服 务、 文字识别服 务和通信网关； 所述UI界面识别服 务用于UI图片录入、 图片 指纹计算和图像识别； 所述文字识别服务用于识别待测试软件过程中弹出的消息提示框内的文字提示内容， 并判断执 行结果； 所述通信网关用于封装UI界面识别服务和文字识别服务， 作为接口暴露给测试平台设 备。 4.根据权利要求1所述的一种基于图像识别能力的终端应用自动化测试装置， 其特征 在于， 所述测试操作平台包括测试主程序、 桌 面点击控制程序、 调试 软件和终端投屏服 务； 所述测试主程序用于与测试管理平台建立通信连接、 加载测试用例脚本、 判断当前UI 是否是待执行测试用例的UI界面、 根据待执行的控件编号、 加载测试字典、 测试用例执行、权　利　要　求　书 1/3 页 2 CN 114896148 A 2不间断的根据屏幕截图、 调用AI云服务平台的UI界面识别接口和测试结果判别， 还用于识 别到消息弹窗时， 调用A I云服务平台的文字识别服务， 获取当前的文字提示内容， 还用于识 别到文本 输入框时， 根据测试用例输入文本内容继续执 行任务； 所述桌面点击控制程序用于根据终端投屏的屏幕坐标进行点击、 向输入框输入文本和 应用启动和退 出功能； 所述调试 软件用于提供应用启动杀 死、 反向控制、 文本 输入、 退出、 截屏指令； 所述终端投屏服务用于将 获取的终端设备桌面图片按照周期， 在操作平台的电脑桌面 上就行更新展示， 实时展示终端设备内待测试 软件的运行状态。 5.一种基于 图像识别能力的终端应用自动化测试方法， 其特征在于， 该方法是采用权 利要求1所述的一种基于图像识别能力的终端应用自动化测试装置实现的， 包括以下步骤： 步骤S1， 测试管理平台网页上进行知识库的构建， 在产品设计阶段完成正向设计和知 识库构建， 数据库或表格形式录入； 步骤S2， 测试 管理平台网页上进行测试用例、 测试任务构建， 数据库或表格形式录入； 步骤S3， 测试任务执 行后， 测试 结果分析。 6.根据权利要求5所述的一种基于图像识别能力的终端应用自动化测试装置， 其特征 在于， 所述 步骤S3中， 所述的测试任务执 行， 具体包括以下步骤： 步骤S301， 测试操作平台准备， 连接终端设备， 终端设备安装待测试软件并处于调试模 式下， 终端投屏服 务在操作平台的桌 面上显示终端设备屏幕内容； 步骤S302， 云端测试管理平台将测试任务、 测试用例、 测试知识库下发给测试操作平 台； 步骤S303， 测试主程序加载测试任务、 测试用例、 测试知识库参数开始执 行测试任务； 步骤S304， 解析测试用例， 识别UI处于预期要执 行测试用例的UI界面内； 步骤S305， 加载待执 行的控件图片， 在当前UI界面内找到控 件所在的坐标； 步骤S306， 调用桌 面点击控制程序， 点击启动控 件； 步骤S307， 调用AI云服务平台的UI界面识别服务， ， 识别当前UI界面 内是否有需要输入 的文本框或需要再次确认的按钮， 根据知识库内文本框或按钮的图片， 在当前UI界面内找 到对应的位置坐标， 调用桌面点击控制程序或文本输入程序， 进 行对应的操作， 继续开始执 行应用； 步骤S308， 在整个操作过程中， 以100ms周期截图， 并调用AI云服务平台的UI界面识别 服务， 记录每张截图的UI界面 ID， 去重后存 储； 步骤S309， 识别到是消息提示框的UI界面时， 调用AI云服务平台的文字识别服务， 获取 消息提示框内容； 步骤S310， 确认当前UI界面持续为该条测试用例结束后应该停留的UI界面， 则判定为 测试用例执 行结束； 或超过规定时间未 出现终止界面， 也判定为执 行超时结束； 步骤S311， 将消息提示框的提示语、 UI执行序列与测试用例的标准答案进行比对， 输出 测试结果， 存在本地； 步骤S312， 按照上述步骤S304至步骤S311， 完成所有测试用例的执行， 完成整体的测试 任务， 上传测试 结果到云端测试 管理平台。 7.根据权利要求5所述的一种基于图像识别能力的终端应用自动化测试装置， 其特征权　利　要　求　书 2/3 页 3 CN 114896148 A 3