(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210166634.9 (22)申请日 2022.02.23 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 张清天　郝晓龙　吴华强　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄德海 (51)Int.Cl. G06F 9/451(2018.01) (54)发明名称 计算机操作辅助方法、 系统、 电子设备及存 储介质 (57)摘要 本申请公开了一种计算机操作辅助方法、 系 统、 电子设备及存储介质， 该方法包括： 采集计算 机的当前屏幕显示信息， 对当前屏幕显示信息进 行处理， 得到多个关键帧图像； 将多个关键帧图 像输入预先构建的操作辅助模型进行识别， 得到 当前屏幕显示信息对应的目标辅助动作； 控制计 算机执行目标辅助动作， 以辅助计算机操作。 本 申请的实施例可以根据用户的习惯， 自动的学 习， 模仿用户的习惯做出决策， 并且可 以在无人 工干预的情况下自动化的操作。 由此， 解决了目 前计算机操作辅助应用范围小、 功能死板、 操作 复杂等问题。 权利要求书2页 说明书8页 附图2页 CN 114610425 A 2022.06.10 CN 114610425 A 1.一种计算机操作辅助方法， 其特 征在于， 包括以下步骤： 采集计算机的当前屏幕显示信息， 对所述当前屏幕显示信息进行处理， 得到多个关键 帧图像； 将所述多个关键帧图像输入预先构建的操作辅助模型进行识别， 得到所述当前屏幕显 示信息对应的目标辅助动作； 控制所述计算机执 行所述目标辅助动作， 以辅助计算机操作。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述当前屏幕显示信息进行处理， 得到多个关键帧图像， 包括： 由所述当前屏幕显示信 息获取所述计算机的视频数据， 以将所述视频数据作为所述当 前屏幕显示信息， 通过数据转换得到当前屏幕的多张图像数据， 或采集当前屏幕的多张图 像数据； 根据预设提取规则从所述多张图像数据中提取 所述多个关键帧图像。 3.根据权利要求1或2所述的方法， 其特征在于， 所述将所述多个关键帧图像输入预先 构建的操作辅助模型进行识别， 得到所述当前屏幕显示信息对应的目标辅助动作， 包括： 将所述多个关键帧图像输入所述预先构建的操作辅助模型进行识别， 对多个识别结果 进行取平均或加权后得到所述多个关键帧图像对应的目标辅助动作。 4.根据权利要求1所述的方法， 其特征在于， 所述采集计算机的当前屏幕显示信息之 前， 还包括： 采集计算机的输出信息以及对应的用户的输入信息组成输入 ‑输出数据组； 对所述输入 ‑输出数据组进行数据标注， 利用标注后的输入 ‑输出数据组进行模型训 练， 得到所述操作辅助模型。 5.根据权利要求1所述的方法， 其特征在于， 所述输入 ‑输出数据组包括计算机的屏幕 显示信息和用户鼠标或键盘输入信息 。 6.一种计算机操作辅助系统， 其特 征在于， 包括： 处理模块， 用于采集计算机的当前屏幕显示信 息， 对所述当前屏幕显示信息进行处理， 得到多个关键帧图像； 识别模块， 用于将所述多个关键帧图像输入预先构建的操作辅助模型进行识别， 得到 所述当前屏幕显示信息对应的目标辅助动作； 控制模块， 用于控制所述计算机执 行所述目标辅助动作， 以辅助计算机操作。 7.根据权利要求6所述的系统， 其特 征在于， 所述处 理模块， 包括： 转换单元， 用于由所述当前屏幕显示信息获取所述计算机的视频数据， 以将所述视频 数据作为所述当前屏幕显示信息， 通过数据转换得到当前屏幕的多张图像数据， 或采集当 前屏幕的多张图像数据； 提取单元， 用于根据预设提取规则从所述多张图像数据中提取 所述多个关键帧图像。 8.根据权利要求6或7 所述的系统， 其特 征在于， 所述识别模块， 具体用于： 将所述多个关键帧图像输入所述预先构建的操作辅助模型进行识别， 对多个识别结果 进行取平均或加权后得到所述多个关键帧图像对应的目标辅助动作。 9.根据权利要求6所述的系统， 其特 征在于， 所述处 理模块之前， 还 包括： 采集模块， 用于采集计算机的输出信息以及对应的用户的输入信息组成输入 ‑输出数权　利　要　求　书 1/2 页 2 CN 114610425 A 2据组； 建模模块， 用于对所述输入 ‑输出数据组进行数据标注， 利用标注后的输入 ‑输出数据 组进行模型训练， 得到所述操作辅助模型。 10.根据权利要求6所述的系统， 其特征在于， 所述输入 ‑输出数据组包括计算机的屏幕 显示信息和用户鼠标或键盘输入信息 。 11.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑5任一项所 述的计算机操作辅助方法。 12.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑5任一项所述的计算机操作辅助方法。权　利　要　求　书 2/2 页 3 CN 114610425 A 3