(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210643386.2 (22)申请日 2022.06.08 (71)申请人 北京青萌 数海科技有限公司 地址 100022 北京市朝阳区东 三环南路58 号富顿中心D座2517 (72)发明人 陈逸舟　张丹　熊晓菁　 (74)专利代理 机构 北京智沃 律师事务所 1 1620 专利代理师 梁晨 (51)Int.Cl. G06F 16/33(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 结合深度卷积网络和注意力机制的地址匹 配方法以及装置 (57)摘要 本申请公开了一种结合深度卷积网络和注 意力机制的地址匹配方法以及地址匹配装置， 属 于人工智能技术领域， 方法包括： 输入待匹配的 第一地址文本和第二地址文本； 训练地址语义提 取模型； 通过地址语义提取模型， 将地址文本逐 字转化为文本向量； 训练包括输入层、 卷积层、 池 化层和输 出层深度卷积神经网络模 型； 将文本向 量输入至输入层， 在输入层中引入注意力机制， 获取交互关系特征矩阵， 对文本向量和关系特征 矩阵进行叠加； 在卷积层中定义卷积核， 对文本 向量沿文本方向进行卷积； 在池化层中引入注意 力机制， 对卷积后的向量进行池化处理， 输出输 出向量； 在输 出层中， 建立逻辑回归模型， 判断两 个输出向量是否匹配， 输出两个地址文本是否匹 配的结果。 权利要求书2页 说明书8页 附图3页 CN 114911909 A 2022.08.16 CN 114911909 A 1.一种结合深度卷积网络和注意力机制的地址匹配方法， 其特 征在于， 包括： 输入待匹配的第一 地址文本和第二 地址文本； 训练地址语义 提取模型； 通过所述地址语义提取模型， 将所述第一地址文本逐字转化为第一文本向量， 将所述 第二地址文本逐字转 化为第二文本向量； 训练结合注意力机制的深度卷积神经网络模型， 其中， 所述深度卷积神经网络模型包 括输入层、 卷积层、 池化层和输出层； 将所述第一文本向量和所述第 二文本向量输入至所述输入层， 在所述输入层中引入注 意力机制， 获取所述第一文本 向量和所述第二文本 向量之间的交互关系 特征矩阵， 对所述 第一文本 向量和第一关系 特征矩阵、 所述第二文本 向量和第二关系 特征矩阵进行叠加， 进 入所述卷积层； 在所述卷积层中定义卷积核， 对所述第 一文本向量和所述第 二文本向量沿文本方向进 行卷积， 在文本 两侧分别使用0做填充处 理， 进入所述池化层； 在所述池化层中引入注意力机制， 对卷积后的向量进行池化处理， 输出第一输出向量 和第二输出向量， 进入所述输出层； 在所述输出层中， 建立逻辑回归模型， 判断所述第一输出向量和所述第二输出向量是 否匹配， 输出 所述第一 地址文本和所述第二 地址文本是否匹配的结果。 2.根据权利要求1所述的地址匹配方法， 其特征在于， 所述训练地址语义提取模型， 具 体包括： 收集地址文本语料库； 利用所述地址文本语料库， 对BERT预训练模型进行微调训练， 得到所述地址语义提取 模型。 3.根据权利要求2所述的地址匹配方法， 其特征在于， 所述对BERT预训练模型进行微调 训练， 具体为： 利用逐层解冻策略、 逐层衰减学习率策略和倾斜三角学习率策略对所述BERT预训练模 型进行微调训练。 4.根据权利要求1所述的地址匹配方法， 其特征在于， 所述训练结合注意力 机制的深度 卷积神经网络模型， 具体包括： 搭建结合注意力机制的所述深度卷积神经网络模型； 构建地址匹配样本库， 所述地址匹配样本库包括多个地址匹配样本， 每个所述地址匹 配样本包括两条地址文本和所述两条地址文本是否指向同一 地点的标记； 利用所述 地址匹配样本库对所述深度卷积神经网络模型进行训练。 5.根据权利要求1所述的地址匹配方法， 其特征在于， 所述在所述输入层中引入注意力 机制， 获取 所述第一文本向量和所述第二文本向量之间的交 互关系特 征矩阵， 包括： 定义输入注意力矩阵， 其中， 所述输入注意力矩阵用于表示所述第一地址文本中的各 个文字与所述第二 地址文本中的各个文字之间的相似程度； 定义权重矩阵； 根据所述输入注意力矩阵和所述权 重矩阵得到所述交 互关系特 征矩阵。 6.根据权利要求1所述的地址匹配方法， 其特征在于， 所述对卷积后的向量进行池化处权　利　要　求　书 1/2 页 2 CN 114911909 A 2理， 包括： 定义与所述卷积后的向量相关的池化注意力矩阵； 根据所述池化注意力矩阵得到 权重特征； 根据所述权 重特征对所述卷积后的向量对进行池化计算。 7.一种结合深度卷积网络和注意力机制的地址匹配装置， 其特 征在于， 包括： 第一输入 模块， 用于 输入待匹配的第一 地址文本和第二 地址文本； 第一训练模块， 用于训练地址语义 提取模型； 提取模块， 用于通过所述地址语义提取模型， 将所述第一地址文本逐字转化为第一文 本向量， 将所述第二 地址文本逐字转 化为第二文本向量； 第二训练模块， 用于训练结合注意力 机制的深度 卷积神经网络模型， 其中， 所述深度 卷 积神经网络模型包括输入层、 卷积层、 池化层和输出层； 第二输入模块， 用于将所述第一文本向量和所述第二文本向量输入至所述输入层， 在 所述输入层中引入注 意力机制， 获取所述第一文本向量和所述第二文本向量之 间的交互关 系特征矩阵， 对所述第一文本 向量和第一关系 特征矩阵、 所述第二文本 向量和第二关系 特 征矩阵进行叠加， 进入所述卷积层； 卷积模块， 用于在所述卷积层中定义卷积核， 对所述第一文本向量和所述第二文本向 量沿文本方向进行 卷积， 在文本 两侧分别使用0做填充处 理， 进入所述池化层； 池化模块， 用于在所述池化层中引入注意力 机制， 对卷积后的向量进行池化处理， 输出 第一输出向量和第二输出向量， 进入所述输出层； 输出模块， 用于在所述输出层中， 建立逻辑 回归模型， 判断所述第一输出向量和所述第 二输出向量是否匹配， 输出 所述第一 地址文本和所述第二 地址文本是否匹配的结果。 8.根据权利要求7 所述的地址匹配装置， 其特 征在于， 所述第一训练模块具体包括： 收集子模块， 用于收集 地址文本语料库； 微调子模块， 用于利用所述地址文本语料库， 对BERT预训练模型进行微调训练， 得到所 述地址语义 提取模型。 9.根据权利要求8所述的地址匹配装置， 其特 征在于， 所述 微调子模块具体用于： 利用逐层解冻策略、 逐层衰减学习率策略和倾斜三角学习率策略对所述BERT预训练模 型进行微调训练。 10.根据权利要求7 所述的地址匹配装置， 其特 征在于， 所述第二训练模块具体包括： 搭建子模块， 用于搭建结合注意力机制的所述深度卷积神经网络模型； 样本子模块， 用于构建地址匹配样本库， 所述地址匹配样本库包括多个地址匹配样本， 每个所述地址匹配样本包括两条地址文本和所述两条地址文本是否指向同一 地点的标记； 训练子模块， 用于利用所述 地址匹配样本库对所述深度卷积神经网络模型进行训练。权　利　要　求　书 2/2 页 3 CN 114911909 A 3