(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111623399.5 (22)申请日 2021.12.28 (71)申请人 华东师范大学 地址 200241 上海市闵行区东川路5 00号 (72)发明人 赵静　林奕初　张艺　孙仕亮　 (74)专利代理 机构 上海蓝迪专利商标事务所 (普通合伙) 31215 代理人 徐筱梅　张翔 (51)Int.Cl. G06F 40/58(2020.01) G06F 40/216(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) (54)发明名称 一种运用辅助记 忆的多样性机 器翻译方法 (57)摘要 本发明公开了一种运用辅助记忆的多样性 机器翻译方法， 该方法具备翻译能力前， 需要使 用单语语料库预训练一个检索模 型， 然后在检索 模型给出的记忆信息的辅助下， 使用双语语料库 训练一个翻译模型。 在训练完成后， 本发明就具 备翻译出多样文本的能力。 最后本发 明通过改进 的全局多样性束搜索方法预测出多个的翻译文 本。 本发明的创新点在于提取和检索单语料库数 据， 将其融入典型机器翻译框架， 同时提出全局 多样性束搜索方法进一步搜索和加强翻译文本 的多样性， 给出详细的推导算法， 使得翻译模型 能够借助单语料库信息进一步提高翻译的准确 性和多样性。 权利要求书2页 说明书8页 附图2页 CN 114429144 A 2022.05.03 CN 114429144 A 1.一种运用辅助记 忆的多样性机器翻译方法， 其特 征在于， 该 方法包括如下步骤： 步骤一： 建立目标语言上的单语料库和源语言与目标语言对应的双语料库； 步骤二： 构建和预训练双编码器检索模型； 将所有源语言与目标语言分别转换成对应 的词嵌入表 示后， 分别输入检索模 型的两个Attent ion编码器提取特征和编码， 将源语 言与 目标语言的语义编码进行内积运算， 然后通过最大内积搜索快速搜索得到M个最接近源语 言语义编 码的目标语言语义编 码， 根据源语言和目标语言是否是对应句对构建损失函数来 预训练检索模型， 防止检索模型冷启动； 步骤三： 构建多样化机器翻译模型， 在典型Transformer机器翻译模型的基础上， 并在 解码阶段通过Cross ‑Attention融合检索模型获得的辅助记忆， 根据辅助记忆指导生成多 个多样性目标文本； 对于每个源语 言文本， 通过检索模型检索出单语料库中M个最接近的目 标文本编码， 以此在Transformer模型解码阶段通过Cross ‑Attention融合， 即将典型机器 翻译模型Transformer编码源语言和目标语 言得到的语义信息作为query， 检索出的目标文 本编码作为 key和value； Cros s‑Attention分数α 的具体 计算如下 其中e∈[1， M ]， i， j∈[1， Le]； ht表示在翻译 过程中第t个时间步时， Transformer模型提 取的源文本与目标文本的潜变量表示， ze表示第e个检索的与源文本最相似的目标文本编 码， 包括Le个token， f(x， ze)表示输入的源文本x与ze的相似度， β 作为超参控制检索模型对 翻译模型的影响大小， Wm是模型的权重； 每个检索出的目标语言语义编码ze分别指导典型机 器翻译生成不同的翻译 文本， 以提高机器翻译的多样性和准确性； 步骤四： 确定多样性机器翻译模型的优化目标， 训练运用辅助记忆的多样性机器翻译 模型； 不同于典型机器翻译模型， 运用辅助记忆的多样性机器翻译模型 的优化目标需要融 合和同时训练检索模型， 整体目标是同时提高检索模型和翻译模型 的性能， 其优化 目标的 公式描述 为 其中， y*是模型生成的翻译， x是输入句子， ze表示第e个检索的与源文本最相似的目标 文本编码， f(x， ze)表示输入的源文 本x与ze的相似度； 将单语料库检索到的文 本的相似度融 入优化目标， 采用Adam算法优化， 使检索模型参与反向梯度计算 来更新参数； 步骤五： 训练完毕后， 进行多样性翻译模型推理， 即生成多个不同的翻译文本； Transformer解码器通过检索的文本， 源文本和之前预测的目标文本的所有token， 预测下 一个token的概率分布； 以最大似然为准则求最优句子序列， 采用改进的多样性束搜索算法 得出最优的机器翻译输出。 2.如权利要求1所述的运用辅助记忆的多样性机器翻译方法， 其特征在于， 所述的多样 性机器翻译模型， 具有如下结构： 在检索模块中， 源文本x和所有单语料库文本分别经过两 个Transformer的编码器得到其对应的特征编码矩阵Esrc(x)和Etgt(ze)， 将特征编码矩阵进 行内积计算得到相似度， f(x， ze)＝Esrc(x)TEtgt(ze)     (3)权　利　要　求　书 1/2 页 2 CN 114429144 A 2通过最大 内积搜索(Maximum  Inner Product Search)快速搜索得到M个最接近源语言 语义编码的目标语言语 义编码{z1， z2，…， zM}以及对应的相似度{f(x， z1)， f(x， z2)，…， f(x， zM)}； 翻译模块沿用典型Transformer模型， 由编码器一解码器框架构成； 源文本x经过编码 器提取特征表示， 编码器由六层组合网络串联构成， 每层依次包括Multi ‑Head Attention 层和全连接层； 源文本经过编码后在解码器中， 作为K和V与之前时间步预测得到的目标文 本{y1， y2，…， yt‑1}的编码作为Q进行Cross ‑Attention计算得到此时间步t的中间状态表示 ht， 其中， 表示缩放因子， 防止计算过程数据溢出； 在Transformer解码时得到源文本 与目标文本的中间状态表示ht后， 以此作为Q再与检索模块得到的特征编码ze进行Cross ‑ Attention计算， 融合单语料库信息， 最终预测得到当前时间步的概 率。 3.如权利要求1所述的运用辅助记忆的多样性机器翻译方法， 其特征在于， 步骤五所述 改进的多样性束搜索算法， 包括如下步骤： 步骤3.1： 选取束的总数量B和分组数量G， 保证B能整除G， 使得每组保持同样数量的搜 索束且不重叠， 则每组中包括g＝B/G个束， 设置多样性惩罚项来统计之前时间步所有选取 的各个to ken的数量； 步骤3.2： 根据Transformer解码器得到的当前时间步， 词汇表中所有token的选择概 率， 将其复制成B束， 并分成G组； 步骤3.3： 对于每组的g束， 首先对第一组的g束进行典型束搜索， 选取概率最大的g个 token， 得到第一组的g个候选token， 据此更新多样性惩罚 项， 即将对应token数量加一； 对 第二组束， 在选取概率最大的g个token之前， 需要将token概率减去多样性惩罚项中统计对 应token数量的λ倍， λ∈[0， 1)控制多样性 惩罚的程度； 步骤3.4： 汇总G组所有B束的token， 作为当前时间步的搜索结果输入到Transformer解 码器进行下一时间步的预测， 再根据步骤3.3进行多样性束搜索直到所有束遇到终止符＜ EOS＞或者达 到预设的最大时间步。权　利　要　求　书 2/2 页 3 CN 114429144 A 3