(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210205547.X (22)申请日 2022.03.04 (71)申请人 中信建投证券股份有限公司 地址 100010 北京市东城区朝内大街18 8号 (72)发明人 潘建东　肖钢　张健　刘建阳　 文博　徐政钧　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 代理人 马敬　项京 (51)Int.Cl. G06F 9/451(2018.01) G06F 3/04817(2022.01) G06F 3/04842(2022.01) (54)发明名称 一种远程辅助方法、 装置及系统 (57)摘要 本发明实施例提供了一种远程辅助方法、 装 置及系统， 第一客户端接收第一用户输入的辅助 指令， 获取包含第一用户操作的应用程序当前的 显示内容的目标图像， 向第二客户端发送目标图 像。 第二客户端接收第二用户输入的针对显示的 目标图像的标记指令， 确定标记指令在第二客户 端的显示界面中指示的第一标记 位置； 基于第二 客户端的显示界面与应用程序的显示界面之间 的位置映射 关系， 确定第一标记 位置在应用程序 的显示界面中对应的第二标记 位置， 向第一客户 端发送第二标记位置。 第一客户端在应用程序的 显示界面中第二标记位置处进行标记， 以提醒第 一用户在第二标记位置处进行操作， 可以在一定 程度上避免用户隐私泄露， 并提高远程辅助方法 的适用范围。 权利要求书3页 说明书18页 附图7页 CN 114327737 A 2022.04.12 CN 114327737 A 1.一种远程辅助系统， 其特 征在于， 所述系统包括： 第一 客户端和第二 客户端， 其中， 所述第一客户端， 用于当接收到第一用户输入的辅助指令时， 获取包含所述第一用户 操作的应用程序当前的显示内容的目标图像， 并向所述第二 客户端发送所述目标图像； 所述第二客户端， 用于显示接收到的所述目标图像； 当接收到第二用户输入的针对所 述目标图像的标记指 令时， 确定所述标记指令在所述第二客户端的显示界面中指示的第一 标记位置； 基于所述第二客户端的显示界面与所述应用程序的显示界面之 间的位置映射关 系， 确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置； 并向所述 第一客户端发送所述第二标记位置； 所述第一客户端， 还用于在接收到所述第二标记位置时， 在所述应用程序的显示界面 中所述第二标记位置处进行 标记， 以提醒 所述第一用户在所述第二标记位置处进行操作。 2.一种远程辅助方法， 其特 征在于， 所述方法应用于第一 客户端， 所述方法包括： 当接收到第 一用户输入的辅助指令时， 获取包含所述第 一用户操作的应用程序当前的 显示内容的目标图像； 向第二客户端发送所述目标图像， 以使所述第二客户端显示接收到的所述目标图像； 当接收到第二用户输入的针对所述目标图像的标记指 令时， 确定所述标记指令在所述第二 客户端的显示界面中指示的第一标记位置； 基于所述第二客户端的显示界面与所述应用程 序的显示界面之间的位置映射关系， 确定所述第一标记位置在所述应用程序的显示界面中 对应的第二标记位置， 并向所述第一 客户端发送所述第二标记位置； 在接收到所述第 二标记位置时， 在所述应用程序的显示界面中所述第 二标记位置处进 行标记， 以提醒 所述第一用户在所述第二标记位置处进行操作。 3.根据权利要求2所述的方法， 其特征在于， 所述获取包含所述第 一用户操作的应用程 序当前的显示内容的目标图像， 包括： 若所述第一用户操作的应用程序未在后台运行， 获取包含所述应用程序当前的显示内 容的图像， 作为目标图像； 所述方法还 包括： 若检测到所述应用程序切换至后台运行， 获取 预设图像， 作为目标图像。 4.根据权利要求3所述的方法， 其特征在于， 所述获取包含所述应用程序当前的显示内 容的图像， 作为目标图像， 包括： 按照第一图像维度， 获取包含所述应用程序当前的显示内容的图像帧， 作为第一图像 帧； 当检测到当前与所述第 二客户端之间的网络状态达到预设网络状态时， 按照第 二图像 维度对各第一图像帧进 行处理， 得到目标图像； 其中， 所述第二图像维度小于所述第一图像 维度。 5.根据权利要求4所述的方法， 其特征在于， 所述当检测到当前与所述第 二客户端之间 的网络状态达到预设网络状态时， 按照第二图像维度对各第一图像 帧进行处理， 得到目标 图像， 包括： 当检测到当前与所述第 二客户端之间的网络状态达到第 一预设网络状态时， 对各第 一 图像帧进行采样处 理， 得到目标图像； 当检测到当前与所述第 二客户端之间的网络状态达到第 二预设网络状态时， 对各第 一权　利　要　求　书 1/3 页 2 CN 114327737 A 2图像帧进行采样处 理， 得到第二图像帧； 降低各第二图像帧的分辨 率， 得到目标图像。 6.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 当接收到用户输入的辅助指令时， 获取第一用户的音频数据， 向所述第二客户端发送 所述第一用户的音频 数据， 以使所述第二 客户端播 放接收到的所述第一用户的音频 数据； 播放接收到的所述第二 客户端发送的所述第二用户的音频 数据。 7.一种远程辅助方法， 其特 征在于， 所述方法应用于第二 客户端， 所述方法包括： 在接收到第一客户端发送 的目标图像时， 显示所述目标图像； 其中， 所述目标图像为： 所述第一客户端在接收到第一用户输入的辅助指 令时， 获取的包含所述第一用户操作的应 用程序当前的显示内容的图像； 当接收到第 二用户输入的针对所述目标图像的标记指令时， 确定所述标记指令在所述 第二客户端的显示界面中指示的第一标记位置； 基于所述第 二客户端的显示界面与 所述应用程序的显示界面之间的位置映射关系， 确 定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置； 向所述第一客户端发送所述第 二标记位置， 以使所述第 一客户端在接收到所述第 二标 记位置时， 在所述应用程序的显示界面中所述第二标记位置处进行标记， 以提醒所述第一 用户在所述第二标记位置处进行操作。 8.根据权利要求7 所述的方法， 其特 征在于， 所述标记指令中携带有标记内容； 所述向所述第 一客户端发送所述第 二标记位置， 以使所述第 一客户端在接收到所述第 二标记位置时， 在所述应用程序的显示界面中所述第二标记位置处进行标记， 以提醒所述 第一用户在所述第二标记位置处进行操作， 包括： 向所述第一客户端发送所述第 二标记位置和所述标记内容， 以使所述第 一客户端在接 收到所述第二标记位置和所述标记内容时， 按照所述标记内容， 在所述应用程序的显示界 面中所述第二标记位置处进行标记， 以提醒所述第一用户按照所述标记内容， 在所述第二 标记位置处进行操作。 9.一种远程辅助装置， 其特 征在于， 所述装置应用于第一 客户端， 所述装置包括： 第一获取模块， 用于当接收到第一用户输入的辅助指令时， 获取包含所述第一用户操 作的应用程序当前的显示内容的目标图像； 发送模块， 用于向第二客户端发送所述目标图像， 以使所述第二客户端显示接收到的 所述目标图像； 当接 收到第二用户输入的针对所述 目标图像的标记指令时， 确定所述标记 指令在所述第二客户端的显示界面中指示的第一标记位置； 基于所述第二客户端的显示界 面与所述应用程序的显示界面之间的位置映射关系， 确定所述第一标记位置在所述应用程 序的显示界面中对应的第二标记位置， 并向所述第一 客户端发送所述第二标记位置； 标记模块， 用于在接收到所述第二标记位置时， 在所述应用程序的显示界面中所述第 二标记位置处进行 标记， 以提醒 所述第一用户在所述第二标记位置处进行操作。 10.一种远程辅助装置， 其特 征在于， 所述装置应用于第二 客户端， 所述装置包括： 显示模块， 用于在接收到第一客户端发送的目标图像时， 显示所述目标图像； 其中， 所 述目标图像为： 所述第一客户端在接 收到第一用户输入的辅助指令时， 获取 的包含所述第 一用户操作的应用程序当前的显示内容的图像； 确定模块， 用于当接收到第二用户输入的针对所述目标图像的标记指令时， 确定所述权　利　要　求　书 2/3 页 3 CN 114327737 A 3