(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210316757.6 (22)申请日 2022.03.25 (71)申请人 曲阜师范大学 地址 273165 山东省济宁市曲阜市 静轩西 路57号 (72)发明人 马飞　程荣花　孟静　王升波　 赵景秀　张元科　李颖　张雪婷　 (74)专利代理 机构 济南泉城专利商标事务所 37218 专利代理师 李桂存 (51)Int.Cl. G06F 9/451(2018.01) G06F 16/958(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于网页命令行与子图快速匹配的远 程桌面操作方法 (57)摘要 本发明属于计算机技术领域， 公开了一种基 于网页命令行与子图快速匹配的远程桌面操作 方法。 首先在网页内容中发布包含命令行关键字 的语句， 然后客户端读取可编辑网页内容， 并解 析命令行关键字， 根据命令语句来执行对应的结 束程序和点击鼠标操作； 在远程操作系统端利用 交互软件发起控制请求， 提出了变长式点面法快 速定位子图坐标点； 提出了基于样 本及中心点最 值化约束的全 连接深度学习的子图匹配模型； 根 据训练后的深度学习模型来匹配该子图归属哪 一个操作类别， 匹配成功则执行对应的操作或预 定指令执行转义操作。 本发明的优点在于提出了 变长式点面法快速定位子图坐标以及基于样本 及中心点最值化约束的全连接深度学习的子图 匹配模型。 权利要求书2页 说明书6页 附图2页 CN 114706642 A 2022.07.05 CN 114706642 A 1.一种基于网页命令行与子图快速匹配的远程桌面操作方法， 其特征在于， 包含如下 步骤: 步骤一： 远程命令行的发布与解析； 在一个可重复编辑网页中发布包含命令行关键字 的文本内容； 远程客户端实时读取并能够定位包含在 网页内容中的命令行语句， 解析命令 行语句的关键 字， 并根据命令关键 字执行相应的操作； 步骤二： 基于变长式点 面法的桌 面子图快速 定位； 2.1)选取界内点和子图， 实时检测操作系统界面， 截取操作系统桌 面屏幕图像； 2.1.1)选取待操作的软件命令按钮及操作 窗口中指定区域的首个界内点颜色特征和 坐标信息， 设定如下几何特 征关系： R1:D(P1,P2)＝D(P3,P4) R2:D(P1,P3)＝D(P2,P4) 其中， R1和R2表示两个约束关系， D表示坐标中两点之间的距离， P1， P2， P3和P4表示四 个界内点 坐标点信息； 2.1.2)根据上述约束关系依次选取其他三个界内点颜色和坐标信息， 保存子图用于训 练深度学习模型； 2.2)查找子图首个界内点， 使用如下公式计算水平方向和垂直方向遍历步长改变量： 其中， Hdt表示遍历屏幕图像的横坐标改变量(步长)， Vdt表示纵坐标遍历屏幕图像的纵 坐标改变量， CscreenX和CscreenY表示当前屏幕的分辨率水平和垂直像素点数量， OscreenX和 OscreenY表示提取子图的屏幕分辨 率水平和垂直像素点数量； 2.3)定位首个界内点后， 向左侧和上侧分别遍历至子图左上方边界内侧， 以扩大子图 的候选区域； 同时遍历其余三个界内点， 按照如下关系进行定位纵坐标和横坐标并匹配颜 色特征： XP2＝XP1+D(P1,P2),YP2＝YP1 XP3＝XP1,YP3＝YP1+D(P1,P3) XP4＝XP1+D(P1,P2),YP4＝YP1+D(P1,P3) 式中： XP2为点P2的横坐标， XP1为点P1的横坐标， XP3为点P3的横坐标， XP4为点P4的横坐 标， YP2为点P2的纵坐标， YP1为点P1的纵坐标， YP3为点P3的纵坐标， YP4为点P4的纵坐标， 若几 何关系和颜色特征匹配成功， 则完成了变长式由点到面的候选子图区域定位过程； 否则， 继 续遍历屏幕余下的区域； 2.4)对定位后的候选子图采用基于样本及中心点最值化约束的全连接深度学习模型 进行匹配， 若匹配成功在被控制端桌 面执行相应操作； 若匹配失败， 则更新当前屏幕 截图； 步骤三： 子 图或日期匹配成功则执行预定的操作和转义操作； 通过检测指定的操作界 面进行转义操作， 安装在控制端电脑与被控制端电脑中的聊天互动软件进行交互时， 利用 指定的操作界面执 行其他操作动作。权　利　要　求　书 1/2 页 2 CN 114706642 A 22.根据权利要求1基于网页命令行与子图快速匹配的远程桌面操作 方法， 其特征在于， 所述步骤一中所要发布的命令行语句中包含方便解析的关键字， 在 命令行的头部和尾部均 添加命令行开始或结束的标志性字符子串。 3.根据权利要求1基于网页命令行与子图快速匹配的远程桌面操作 方法， 其特征在于， 所述步骤一利用网页浏览器控件和多线程技术获取发布在指定网页中的命令行， 包含具体 的时间点， 精确到分钟； LDate＝Len(Year+Mo nth+Day) LTime＝Len(Hour+Mi nute) 其中， L表示时间的长度， Year表示年， Month表示月， Day表示日， Hour表示小时和 Minute表示分钟， 在解析到命令行时客户端会根据上述时间长度计算公式来获取时刻点， 并按照设定的时间来判断并执 行对应的操作。 4.根据权利要求1基于网页命令行与子图快速匹配的远程桌面操作 方法， 其特征在于， 所述基于样本及中心 点最值化约束的全连接深度学习的子图匹配模型具体如下： 该模型包 括5层全连接神经网络， 每个全连接层后带修正线性单元函数， 每一层的输入输出特征向量 表示如下： 其中， 表示当前层的输出特征， 表示前一层的输出特征作为当前层的输入特 征， wn表示当前层的权重， bn表示当前层的偏 置， δrelu表示每一层后带的修正线性单元函数； 同时采用如下损失函数： 其中， S表示构建损失函数的数量， ED()表示两个特征向量之间的欧氏距离， fea()表 示经过深度学习提取的特征向量， I表示输入的保存区域的子图,子图中标号a和b表示不同 情况下相同操作的子图区域， 标号c和d标注的子图为同类子图但与a不同类型， m表示一个 较小的常数； Mab和Mcd表示同类样本之间的中心点。权　利　要　求　书 2/2 页 3 CN 114706642 A 3