(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111625075.5 (22)申请日 2021.12.2 9 (71)申请人 中奥智能工业研究院 （南京） 有限公 司 地址 210003 江苏省南京市 鼓楼区古平岗4 号智梦园B座5楼 (72)发明人 王国栋　肖寅　 (51)Int.Cl. G06F 8/41(2018.01) G06F 8/51(2018.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于卷积和循环神经网络的GUI原型图转代 码方法 (57)摘要 本发明公开了基于卷积和循环神经网络的 GUI原型图转代码方法， 基于卷积和循环神经网 络技术， 生成端到端训练的模型pix2code， pix2code通过神经网络和模式识别技术， 将单个 GUI图像“训练”成为领域特定语言DSL， 再将DSL 转为代码， 使用多项训练输入完成整个步骤。 本 发明从输入图像的像素值中进行学习， 其训练过 程不是单纯的DSL转换， 而是一个学习的过程， 能 够为各种平台有效地生成计算机代码， 其中包括 IOS和Android原生移动界面以及基于Web的多平 台HTML/CSS界面， 而无需对模型进行任何更改或 特定调整。 权利要求书2页 说明书5页 附图3页 CN 113986251 A 2022.01.28 CN 113986251 A 1.基于卷积和循环神经网络的GUI原型图转代码方法， 其特征在于， 通过深度神经网 络， 生成端到端训练的模 型pix2code， 所述的深度神经网络包括卷积神经网络CNN和循环神 经网络LSTM， 用于学习描述图像中对象的潜在变量及其与相应的可变长度文本描述的关 系； 所述的卷积神经网络CNN执行无监督特征学习， 输入原始图像到卷积神经网络CNN， 获取 原始图像的特征表示； 所述的循环神经网络LSTM对与输入图片相关的文本描述执行语 言建 模； 该方法具体分为训练阶段Trai ning和采样阶段Sampl ing两个部分： 训练阶段Trainin g， GUI 图像由基于卷积神经网络CNN的视觉模型进行编码， 由循环神 经网络LSTM层堆栈组成的语言模型编码上下文， 即与DSL代码对应的单热编码标记序列， 然 后将得到的两个特征向量连接起来， 并输入到充当解码 器的第二个  LSTM 层堆栈中， 最后， 使用softmax层一次对一个token进行采样， softmax层的输出大小对应于领域特定语言DSL 词汇量大小； 采样阶段Sampling， 使用每个预测的输入上下文都将更新以包含最后一个预测的标 记， 使用传统的编译器设计技术将生成的领域特定语言DSL令牌序列编译为所需的目标语 言， 即计算机代码。 2.根据权利要求1基于卷积和循环神经网络的GUI原型图转代码方法， 其特征在于， 所 述的卷积神经网络CNN和循环神经网络LSTM的深度学习方法对图像进 行分析的计算机视觉 问题， 即理解输入的GUI  图像， 并推断其存在的对象、 身份、 位置和姿势， 即按钮、 标签和元 素容器。 3.根据权利要求1所述的基于卷积和循环神经网络的GUI原型图转代码方法， 其特征在 于， 所述的采样 阶段Sampling， 利用端到端训练模型pix2code， 生成句法和语义正确的样 本， 即领域特定语言D SL。 4.根据权利要求1所述的基于卷积和循环神经网络的GUI原型图转代码方法， 其特征在 于， 所述的采样阶段Sampling， 利用端到端训练模型pix2code， 通过利用从场景 理解中推断 出的潜在变量， 生 成由该变量表 示的对象 的相应文本描述， 即将领域特定语 言DSL转换成计 算机代码。 5.根据权利要求1所述的基于卷积和循环神经网络的GUI原型图转代码方法， 其特征在 于， 所述的训练阶段Trai ning的过程用数 学公式表示， 如式 （1） 所示： 式 （1） 中， I表示GUI  图像， 表示上下文标记序列， 参数t表示上下文序列的下标值， ， T表示上下文序列长度， p表示视觉编码向量， 表示语言编码向量， 权　利　要　求　书 1/2 页 2 CN 113986251 A 2表示特征向量， 为预期的标记， 为预测的标记； 通过训练阶段Training， 确定GUI原型 图内容对应 的最佳的DSL标记， 该过程用数学公 式表示， 如式 （2） 所示： 其中， L表示损失函数， 即标记值 和 之间的交叉熵损失函数， I表示GUI  图 像， X表示上下文序列， T表示上下文序列长度， t表示上下文序列的下标值， 预期的标 记， 为预测的标记。权　利　要　求　书 2/2 页 3 CN 113986251 A 3