(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211068079.2 (22)申请日 2022.08.31 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 李威　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 吕朝蕙 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 11/60(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 图像的文本信息生成方法和深度学习模型 的训练方法 (57)摘要 本公开提供了一种图像的文本信息生成方 法和深度学习模 型的训练方法， 涉及人工智能领 域， 具体为深度学习、 计算机视觉、 自然语言处理 等技术领域。 图像的文本信息生成方法包括： 对 待处理图像进行特征提取， 得到与待处理图像的 文本信息相关联的全局特征； 对待处理图像进行 目标检测， 得到待处理图像的局部特征； 利用全 局特征对局部特征进行处理， 得到经更新局部特 征； 基于全局特征和经更新局部特征， 生成待处 理图像的文本信息 。 权利要求书4页 说明书13页 附图7页 CN 115359323 A 2022.11.18 CN 115359323 A 1.一种图像的文本信息生成方法， 包括： 对待处理图像进行 特征提取， 得到与所述待处 理图像的文本信息相关联的全局特 征； 对所述待处 理图像进行目标检测， 得到所述待处 理图像的局部特 征； 利用所述全局特 征对所述局部特 征进行处 理， 得到经 更新局部特 征； 以及 基于所述全局特 征和所述经 更新局部特 征， 生成所述待处 理图像的所述文本信息 。 2.根据权利要求1所述的方法， 其中， 所述利用所述全局特征对所述局部特征进行处 理， 得到经 更新局部特 征包括： 利用所述全局特 征处理所述局部特 征， 得到目标 特征权重； 以及 利用所述目标 特征权重处理所述局部特 征， 得到所述经 更新局部特 征。 3.根据权利要求2所述的方法， 其中， 所述全局特征包括全局特征矩阵， 所述局部特征 包括局部特 征矩阵； 所述利用所述全局特 征处理所述局部特 征， 得到目标 特征权重包括： 利用所述全局特 征矩阵乘以所述局部特 征矩阵， 得到目标矩阵； 以及 将所述目标矩阵， 确定为所述目标 特征权重。 4.根据权利要求3所述的方法， 其中， 所述利用所述目标特征权重处理所述局部特征， 得到所述经 更新局部特 征包括： 利用所述目标矩阵乘以所述局部特 征矩阵， 得到所述经 更新局部特 征。 5.根据权利要求1所述的方法， 其中， 所述基于所述全局特征和所述经更新局部特征， 生成所述待处 理图像的所述文本信息包括： 将所述全局特 征和所述经 更新局部特 征进行融合， 得到图像融合特 征； 以及 利用自然语言理解方式对所述图像融合特征进行语义理解， 生成所述待处理图像的所 述文本信息 。 6.根据权利要求5所述的方法， 还包括， 在利用所述全局特征对所述局部特征进行处 理， 得到经 更新局部特 征之前： 确定与所述自然语言理解方式相关联的特 征空间； 将所述全局特 征映射至所述特 征空间， 得到经映射全局特 征， 作为所述全局特 征； 以及 将所述局部特 征映射至所述特 征空间， 得到经映射局部特 征， 作为所述局部特 征。 7.根据权利要求1所述的方法， 其中， 所述对所述待处理图像进行目标检测， 得到所述 待处理图像的局部特 征包括： 对所述待处 理图像进行目标检测， 得到候选图像区域； 基于与所述候选图像区域相关联的概率数据， 从所述候选图像区域中确定目标图像区 域， 其中， 所述 概率数据表征了所述 候选图像区域存在目标对象的概 率； 以及 将所述目标图像区域的区域特 征， 确定为所述局部特 征。 8.根据权利要求1 ‑7中任意一项所述的方法， 其中， 所述文本信息包括以下至少一项： 目标对象的标识信息、 所述目标对象的特 征信息、 所述目标对象所处的场景信息 。 9.根据权利要求1所述的方法， 还 包括： 根据所述待处 理图像的所述文本信息， 生成所述待处 理图像的语音信息 。 10.一种深度学习模型的训练方法， 包括： 利用待训练深度学习模型的特征提取子模型， 对待处理图像进行特征提取， 得到与所 述待处理图像的文本信息相关联的全局特 征；权　利　要　求　书 1/4 页 2 CN 115359323 A 2利用所述待训练深度学习模型的目标检测子模型， 对所述待处理图像进行目标检测， 得到所述待处 理图像的局部特 征； 利用所述待训练深度 学习模型的注意力 子模型， 基于所述全局特征对所述局部特征进 行处理， 得到经 更新局部特 征； 利用所述待训练深度 学习模型的自然语言理解子模型， 基于所述全局特征和所述经更 新局部特 征， 生成所述待处 理图像的所述文本信息； 基于所述文本信息和参 考文本信息， 确定损失值； 以及 基于所述损失值， 调整所述待训练深度学习模型的模型参数。 11.根据权利要求10所述的方法， 其中， 所述利用所述待训练深度 学习模型的注意力 子 模型， 基于所述全局特 征对所述局部特 征进行处 理， 得到经 更新局部特 征包括： 利用所述全局特 征处理所述局部特 征， 得到目标 特征权重； 以及 利用所述目标 特征权重处理所述局部特 征， 得到所述经 更新局部特 征。 12.根据权利要求11所述的方法， 其中， 所述全局特征包括全局特征矩阵， 所述局部特 征包括局部特 征矩阵； 所述利用所述全局特 征处理所述局部特 征， 得到目标 特征权重包括： 利用所述全局特 征矩阵乘以所述局部特 征矩阵， 得到目标矩阵； 以及 将所述目标矩阵， 确定为所述目标 特征权重。 13.根据权利要求12所述的方法， 其中， 所述利用所述目标特征权重处理所述局部特 征， 得到所述经 更新局部特 征包括： 利用所述目标矩阵乘以所述局部特 征矩阵， 得到所述经 更新局部特 征。 14.根据权利要求10所述的方法， 其中， 所述利用所述待训练深度 学习模型的自然语言 理解子模型， 基于所述全局特征和所述经更新局部特征， 生成所述待处理图像的所述文本 信息包括： 对图像融合特 征进行语义理解， 生成所述待处 理图像的所述文本信息， 其中， 所述图像融合特 征是将所述全局特 征和所述经 更新局部特 征进行融合得到的。 15.根据权利要求14所述的方法， 还包括， 在利用所述待训练深度 学习模型的注意力 子 模型， 基于所述全局特征对所述局部特征进 行处理， 得到经更新局部特征之前， 利用所述待 训练深度学习模型的特 征映射子模型 执行以下操作： 确定与所述自然语言理解子模型相关联的特 征空间； 将所述全局特 征映射至所述特 征空间， 得到经映射全局特 征， 作为所述全局特 征； 以及 将所述局部特 征映射至所述特 征空间， 得到经映射局部特 征， 作为所述局部特 征。 16.根据权利要求10所述的方法， 其中， 所述利用所述待训练深度 学习模型的目标检测 子模型， 对所述待处 理图像进行目标检测， 得到所述待处 理图像的局部特 征包括： 对所述待处 理图像进行目标检测， 得到候选图像区域； 基于与所述候选图像区域相关联的概率数据， 从所述候选图像区域中确定目标图像区 域， 其中， 所述 概率数据表征了所述 候选图像区域存在目标对象的概 率； 以及 将所述目标图像区域的区域特 征， 确定为所述局部特 征。 17.根据权利要求10所述的方法， 其中， 所述基于所述文本信息和参考文本信息， 确定 损失值包括： 从字词集 合中确定与所述 参考文本信息相匹配的目标字词；权　利　要　求　书 2/4 页 3 CN 115359323 A 3