(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210061366.4 (22)申请日 2022.01.19 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 宋奕兵　 (74)专利代理 机构 深圳市深佳知识产权代理事 务所(普通 合伙) 44285 代理人 石翰林 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/30(2022.01)G06V 10/34(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) (54)发明名称 一种编码器的训练方法、 装置及存 储介质 (57)摘要 本申请公开了一种编码器的训练方法以及 相关装置， 应用于人工智 能的计算机视觉领域。 通过获取训练图像； 对训练图像进行处理操作不 同的样本； 进一步的将不同的样 本分别输入对应 的编码器进行特征提取得到特征向量； 然后将特 征向量输入目标解码器得到对应的预测 信息； 进 而基于预测 信息进行损失函数计算， 以对第一编 码器进行训练。 从而实现 兼顾全局信息与局部信 息的编码器训练过程， 通过编码器进行局部特征 的提取， 并采用目标解码器中的注 意力模块进行 全局特征的关联， 使 得训练后的编码器提的特征 向量更加精确度， 提高图像识别的准确性。 权利要求书3页 说明书22页 附图8页 CN 114418069 A 2022.04.29 CN 114418069 A 1.一种编码器的训练方法， 其特 征在于， 包括： 获取训练图像； 对所述训练图像进行处理操作， 以得到第一样本和第二样本， 所述第一样本和所述第 二样本采用的处 理操作不同； 将所述第一样本输入第 一编码器进行特征提取得到第 一特征向量， 并将所述第 二样本 输入第二编码器进行 特征提取得到第二特 征向量； 将所述第一特征向量输入目标解码器得到第 一预测信 息， 并将所述第 二特征向量输入 所述目标解码器得到第二预测信息， 所述 目标解码器包含至少 两个串行 的注意力模块， 所 述注意力模块用于提取 所述第一特 征向量的全局信息和所述第二特 征向量的全局信息； 将所述第一预测信 息与所述第 二预测信 息输入目标损失函数， 以对所述第 一编码器进 行训练。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述训练图像进行处理操作， 以得 到第一样本和第二样本， 包括： 确定所述训练图像的类型； 基于所述训练图像的类型获取预设方式集合， 所述预设方式集合包含至少两个类别的 处理方式； 基于不同的所述处理方式分别对所述训练图像进行处理操作， 以得到所述第 一样本和 所述第二样本 。 3.根据权利要求1所述的方法， 其特征在于， 所述将所述第 一特征向量输入目标解码器 得到第一预测信息， 并将所述第二特 征向量输入所述目标解码器得到第二预测信息， 包括： 基于第一映射器将所述第 一特征向量映射为第 一目标向量， 并基于第 二映射器将所述 第二特征向量映射为第二 目标向量， 所述第一 目标向量的维度数大于所述第一特征向量， 所述第二目标向量的维度数大于所述第二特征向量， 所述第二映射器的映射 维度基于所述 第一映射器传导所 得； 将所述第一目标向量输入所述目标解码器得到所述第 一预测信 息， 并将所述第 二目标 向量输入所述目标解码器得到所述第二预测信息 。 4.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 获取目标任务在图像识别过程中采用的目标 特征维度； 基于所述目标特征维度对所述第 一映射器进行映射维度配置， 以使得所述第 一映射器 将所述目标 特征维度传导至所述第二映射器进行映射维度配置； 基于映射维度配置后的所述第 一映射器将所述第 一特征向量映射为第 一目标向量， 并 基于映射维度配置后的所述第二映射器将所述第二特 征向量映射 为第二目标向量。 5.根据权利要求1所述的方法， 其特征在于， 所述将所述第 一特征向量输入目标解码器 得到第一预测信息， 并将所述第二特 征向量输入所述目标解码器得到第二预测信息， 包括： 将所述第一特征向量输入所述目标解码器中的第 一全连接层得到第 一分类向量， 并将 所述第二特 征向量输入所述目标解码器中的第二全连接层得到第二分类向量； 将所述第一分类向量输入所述多头注意力层提取所述第 一特征向量的全局信 息， 并将 所述第二分类向量输入所述多头注意力层提取 所述第二特 征向量的全局信息； 将所述第一特征向量的全局信 息输入所述第 三全连接层得到所述第 一预测信 息， 并将权　利　要　求　书 1/3 页 2 CN 114418069 A 2所述第二特 征向量的全局信息 输入所述第三全连接层得到所述第二预测信息 。 6.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 获取目标任务对应的特 征分布信息； 提取所述特征分布信息对应的注意力分布， 以确定空间关注度； 基于所述空间关注度对所述目标解码器对应的注意力模块数量进行配置 。 7.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 获取所述多头注意力层中配置的位置编码参数； 为所述位置编码参数配置调整参数， 以使得所述位置编码参数在对第 一编码器进行训 练过程中进行参数调整。 8.根据权利要求1所述的方法， 其特征在于， 所述将所述第 一预测信 息与所述第 二预测 信息输入目标损失函数， 以对所述第一编码器进行训练， 包括： 将所述第一预测信 息与所述第 二预测信 息输入所述目标损失函数， 以使得所述第 一预 测信息与所述第二预测信息在目标维度的特 征距离进行靠 近； 基于所述特 征距离的靠 近过程确定网络参数； 根据所述网络参数进行反向传播， 以对所述第一编码器进行训练。 9.根据权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 确定所述第一编码器在训练过程中对应的参数信息； 将所述参数信息 迁移至第二编码器， 以对所述第二编码器进行训练。 10.根据权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 获取用于计算所述网络参数的候选计算方式； 分别基于所述 候选计算方式进行网络参数的确定， 以确定候选参数集 合； 通过所述候选参数集合中的网络参数分别对第 一编码器进行训练， 以得到候选编码器 集合； 基于评估任务对所述 候选编码器集 合中的编码器进行能力评估， 以确定目标编码器； 确定所述目标编码器对应的目标计算方式， 以对所述第一编码器的训练过程进行配 置， 所述目标计算方式包括 点积计算、 二范 数计算或一范 数计算。 11.根据权利要求1 ‑10任一项所述的方法， 其特 征在于， 所述方法还 包括： 对所述训练图像进行处理操作， 以得到第三样本， 所述第 三样本、 所述第 一样本和所述 第二样本所采用的处 理操作不同； 将所述第三样本 输入第三编码器进行 特征提取得到第三特 征向量； 将所述第三特 征向量输入目标解码器得到第三预测信息； 将所述第一预测信 息与所述第 三预测信 息输入所述目标损失函数， 以对训练后的所述 第一编码器进行参数调整。 12.根据权利要求1 ‑10任一项所述的方法， 其特征在于， 所述第一编码器为卷积神经网 络， 所述方法还 包括： 获取待识别图像； 将所述待识别图像输入所述卷积神经网络进行 特征提取， 以得到目标 特征； 基于所述目标特征执行图像处理任务， 以得到任务处理结果， 所述图像处理任务包括 图像识别任务、 图像分割任务或图像 检测任务。权　利　要　求　书 2/3 页 3 CN 114418069 A 3