(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210639491.9 (22)申请日 2022.06.07 (71)申请人 上海开放大学 地址 200433 上海市杨 浦区国顺路28 8号 (72)发明人 白庆春　肖君　臧宏　 (74)专利代理 机构 北京中索 知识产权代理有限 公司 11640 专利代理师 隋晓勇 (51)Int.Cl. G06F 40/30(2020.01) G06F 16/33(2019.01) G06F 8/41(2018.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于对齐变分自编码的多语言语义匹 配方法及系统 (57)摘要 本发明提供一种基于对齐变分自编码的多 语言语义匹配方法及系统， 所述方法包括： 采用 变分自编码器分别将两种语言文本映射到低维 空间隐向量表 示； 对自编码神经网络的编码阶段 的表示和解码的表示进行交互， 由变 分自编码器 分别进行解码操作； 通过约束损失函数， 在低维 空间下进行文本匹配； 组合变分自编码的损失函 数和语义匹配的损失函数， 联合进行循环迭代训 练。 本发明能够自动对多语言文本进行语义匹配 计算， 用户无需关注底层算法逻辑， 通过调用本 发明中间件， 在不修改代码和标注数据的情况下 即可分析出文本的匹配度概率， 提升了多语言文 本匹配的有效性； 本发明能够动态建模多语言的 隐含表示， 为上游意图识别、 文本分类等应用服 务提供技术支撑。 权利要求书3页 说明书9页 附图2页 CN 114936564 A 2022.08.23 CN 114936564 A 1.一种基于对齐 变分自编码的多语言语义匹配方法， 其特 征在于， 包括以下步骤： S1、 选择开放教学中的两种语言文本分别建立变分自编码器VAE， 发送两种语言本文到 各自的自编码神经网络中， 得到各自语义的向量表示， 分别对两种语言文本进 行语义建模， 利用变分自编 码器分别学习两种语言文本的语义表示的操作； 所述两种语言文本的语义表 示定义为： μ(x)＝WμGRU(x)+bμ σ(x)＝exp(WσGRU(x)+bσ)， zx＝ μ(x)+σ(x) ·ε      (1) 式(1)中， μ(x)和σ(x)分别表示两种语言文本 的建模的变分自编码器的参数， b表示为 权重矩阵， z表 示句子在模 型进行编码后的 隐向量表 示， μ(x)和σ(x)两种语 言文本的变 分自 编码器设置为同一网络结构， 参数分别进行计算； 所述变分自编码器为带门控递归单 元的双向循环神经网络GRU， 定义 为： zt＝σ(W(z)xt+U(z)ht‑1) rt＝σ(W(r)xt+U(r)ht‑1) h′t＝tanh(Wxt+rt⊙Uht‑1) ht＝zt⊙ht‑1+(1‑zt)⊙h′t    (2) 式(2)中， z表示更新门， 取值范围为0～1； h ’表示当前节点信息， ht表示当前节点的隐含 状态， ht‑1表示上一个节点的隐含状态， W、 U表示 参数矩阵； S2、 对所述自编码神经网络的编码阶段的表示和解码的表示进行交互， 根据所述两种 语言文本的向量表示由变分自编码器分别进行解码操作， 还原原句 子， 给定语言文本的语 义表示zx， 预测生成句子的概 率最大似然； 所述解码的表示定义 为： 式(3)中， p(xt|x1， ...， xt‑1， zx)表示生成单词为xt的概率分布， 采用softmax函数进行归 一化； S3、 对两种语言文本的语义表示在低维空间进行语义向量匹配， 基于两种语言文本的 语义向量 来度量它 们的语义相似性， 训练得到语义匹配模型； 所述语义向量匹配的定义 为： 式(4)中， yij表示标签， cij、 sij分别表示两种语言文本； S4、 将两个变分自编码器设定相同的先验， 两个变分自编码器的变分后验以相同的方 式被约束； 将所述语义向量匹配模型融入重构分析中， 进行语义相似计算， 计算句子相似程 度， 分析两种语言文本的语义表示的匹配度概 率； 所述语义相似计算的表达式为：权　利　要　求　书 1/3 页 2 CN 114936564 A 2式(5)中， 和 分别表示两种语言自编码建模的损 失函数， 所述损 失函数包括 重构损失、 KL损失， 所述重构损失表示自编码编码后重新还原的约束， 所述KL损失表 示隐空 间下分布的约束； S5、 计算两种语言的变分自编码损失和匹配损失， 将变分自编码损失和匹配损失进行 联合， 计算联合损失， 并进 行反向梯度传播计算， 不断循环迭代更新所述语义匹配模型的参 数。 2.根据权利要求1所述的基于对齐变分自编码的多语言语义匹配方法， 其特征在于， 所 述S1步骤的所述得到各自语义的向量表示的方法包括： 给定一个输入文本x， 变分自编码器VAE将输入文本x映射到低纬度空间， 重建映射后的 文本x， 获得一个潜在向量表示z， z的分布基于变分自编码器的先验约束。 3.根据权利要求1所述的基于对齐变分自编码的多语言语义匹配方法， 其特征在于， 所 述S1步骤的所述对两种语言文本进行语义建模的方法包括： 对两种语言文本进行特征提取， 引入词向量模型， 得到句子中每个单词的分布式向量 表示， 并将单词向量表示 拼接成句子的表示。 4.根据权利要求1所述的基于对齐变分自编码的多语言语义匹配方法， 其特征在于， 所 述S3步骤的所述语义匹配模型的训练方法包括： 将两种语言向量表示输入到自编码神经网 络中， 建模句子序列匹配的表示模型， 以半监 督的方式联合训练。 5.根据权利要求1所述的基于对齐变分自编码的多语言语义匹配方法， 其特征在于， 所 述S2步骤的所述自编码神经网络的编码阶段的表示和解码的表示进行交 互的方法包括： 变分自编码器在编码过程中， 采用GRU门控神经网络建模句子， 得到句子的隐含表示， 在解码过程中， 融合句 子建模后的句 子级别隐向量表示和注意权重参数， 预测语言模型中 下一个词的概 率分布。 6.一种基于对齐变分自编码的多语言语义匹配系统， 其特征在于， 执行权利要求1 ‑5任 一项所述的基于对齐 变分自编码的多语言语义匹配方法， 包括： 语义建模模块： 选择开放教学中的两种语言文本分别建立变分自编码器VAE， 发送两种 语言本文到各自的自编码神经网络中， 得到各自语义的向量表示， 分别对两种语言文本进 行语义建模， 利用变分自编码器分别学习两种语言文本的语义表示的操作； 注意力引入模块： 对所述自编码神经网络的编码 阶段的表示和解码的表示进行交互， 根据所述两种语言文本的向量表示由变分自编码器分别进行解码操作， 还原原句 子， 给定 语言文本的语义表示zx， 预测生成句子的概 率最大似然； 语义匹配模块： 对两种语言文本的语义表示在低维空间进行语义向量匹配， 基于两种 语言文本的语义向量 来度量它 们的语义相似性， 训练得到语义匹配模型； 重构分析模块： 将两个变分自编码器设定相同的先验， 两个变分自编码器的变分后验权　利　要　求　书 2/3 页 3 CN 114936564 A 3