(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111629716.4 (22)申请日 2021.12.28 (71)申请人 天翼电子商务有限公司 地址 102200 北京市昌平区未来科技城南 区中国电信集团公司院内 (72)发明人 顾志文　许磊磊　徐华建　袁顺杰　 施炎　崔文冰　汤敏伟　李真　 (51)Int.Cl. G06V 30/19(2022.01) G06V 30/22(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种离线手写化学反应式图像识别技 术 (57)摘要 本发明公开了一种离线手写化学反应式图 像识别技术， 针对复杂的离线手写化学反应式识 别问题， 提出一种有效的识别手段， 具有较高的 准确率和较好的鲁棒性。 本发明可以对复杂的手 写化学式直接进行识别， 而传统的网络结构需要 预先对字符进行分割再识别； 同时， 本发明对手 写文本中常出现的粘连， 变形， 字体多样等问题 也有较高的识别准确率， 对化学反应式中存在的 空间角标和特殊符号也有良好的识别能力； 应用 了注意力机制， 通过给图像特征分配不同的权 重， 增强了网络结构在当前识别过程中的语义信 息， 提升了识别准确率。 权利要求书1页 说明书5页 附图2页 CN 114529908 A 2022.05.24 CN 114529908 A 1.一种离线手写化学反应式图像识别技 术， 其特征在于， 包括以下步骤： S1： 将离线图像进行统一预处 理， 确保其在处 理完成后有固定的大小及通道； S2： 使用图像编码模块， 对S1处 理后的图像进行 特征提取， 生成图像特 征矩阵； S3： 使用解耦图像注意力生成模块， 以S2图像特征矩阵为输入， 通过卷积神经网络， 生 成对应的注意力特 征； S4： 将S2中的图像特征矩阵和S3中的注意力特征相结合， 产生包含不同注意力的图像 特征向量； 相当于给不同的图像特 征分配对应的重要性； S5： 使用解耦特征解码模块， 此模块以循环神经网络为基础， 结合计划采样技术， 将S4 中包含不同注意力的图像特征和上一个时间步的输出相结合作为输入， 经过RNN循环神经 网络和全链接网络， 得到每 个序列位字符输出， 最后得到整个序列输出。 2.根据权利要求1所述的一种离线手写化学反应式图像识别技术， 其特征在于， 步骤 S1， 包含： S1.1： 使用卷积神经网络， 扫描原 始离线图像， 得到包 含图像信息的特 征矩阵。 3.根据权利要求2所述的一种离线手写化学反应式图像识别技术， 其特征在于， 步骤 S2， 包含： S2.1： 将步骤S1.1中得到的特征矩阵送入注意力特征提取模块， 通过卷积和逆卷积操 作得到相应的注意力矩阵。 4.根据权利要求3所述的一种离线手写化学反应式图像识别技术， 其特征在于， 步骤 S3， 包含： S3.1： 分别将S1.1和S2.1步骤中得到 的图像特征矩阵和注意力矩阵进行内积求和， 得 到具有不同注意力的图像特 征中间向量； S3.2： 利用计划采样技术， 以一个不断衰减的概率值， 选取循环神经网络上一个时间步 的输出或者真实标签值中的一个进 行编码， 并与S 3.1中的中间向量一起作为当前时间步的 输入， 更新循环神经网络中的隐藏态向量； S3.3： 将S3.2中的隐藏态向量经过全连接神经网络， 输出每个字符的概率值， 选取概率 最大的作为当前字符输出； S3.4： 将所有字符输出 连接， 作为 最终化学 方程式识别结果。权　利　要　求　书 1/1 页 2 CN 114529908 A 2一种离线手写 化学反应式图像识别技术 技术领域 [0001]本发明涉及电子信息技术领域， 特别涉及一种离线手写化学反应式图像识别技 术。 背景技术 [0002]随着电子信息化在教育领域的普及， 化学研究及在线教育领域中， 离线手写化学 反应式的识别需求变得越加旺盛。 而在手写复杂化学反应式识别的相关领域， 目前主要采 用的是连接时间分类技术， 包含CNN(卷积神经网络)+RNN(循环神经网络)+CTC算法， 其中卷 积神经网络负责提取图像的特性信息， 形成特征矩阵； 循环神经网络负责利用卷积神经网 络提取的特征输出文字及符合。 而CTC算法是一种损失函数计算方法， 用CTC算法代替 Softmax损失函数能解决训练过程中样本与标签需要严格对齐的问题。 但随着注意力机制 下的神经网络出现， CTC网络的问题也逐渐暴露出来。 相较于注意力网络， 由于化学反应式 存在角标， 反应条件等空间结构， CTC网络存在模型识别准确度不高， 模型复杂导致训练时 间长， 鲁棒 性差等问题， 导 致该模型一 直不能在实际环境中成功应用。 发明内容 [0003]本发明要解决的技术问题是克服现有技术的缺陷， 提供一种离线手写化学反应式 图像识别技术， 针对复杂的离线手写化学反应式识别问题， 提出一种有效的识别手段， 具有 较高的准确率和较好的鲁棒 性。 [0004]本发明提供了如下的技 术方案： [0005]本发明提供一种离线手写化学反应式图像识别技 术， 包括以下步骤： [0006]S1： 将离线图像进行统一预处 理， 确保其在处 理完成后有固定的大小及通道； [0007]S2： 使用图像编码模块， 对S1处 理后的图像进行 特征提取， 生成图像特 征矩阵； [0008]S3： 使用解耦图像注意力生成模块， 以S2图像特征矩阵为输入， 通过卷积神经网 络， 生成对应的注意力特 征； [0009]S4： 将S2中的图像特征矩阵和S3中的注意力特征相结合， 产生包含不同注意力的 图像特征向量； 相当于给不同的图像特 征分配对应的重要性； [0010]S5： 使用解耦特征解码模块， 此模块以循环神经网络为基础， 结合计划采样技术， 将S4中包含不同注意力的图像特征和上一个时间步的输出相结合作为输入， 经过RNN循环 神经网络和全链接网络， 得到每 个序列位字符输出， 最后得到整个序列输出。 [0011]作为本发明的一种优选技 术方案， 步骤S1， 包 含： [0012]S1.1： 使用卷积神经网络， 扫描原 始离线图像， 得到包 含图像信息的特 征矩阵。 [0013]作为本发明的一种优选技 术方案， 步骤S2， 包 含： [0014]S2.1： 将步骤S1.1中得到的特征矩阵送入注意力特征提取模块， 通过卷积和逆卷 积操作得到相应的注意力矩阵。 [0015]作为本发明的一种优选技 术方案， 步骤S3， 包 含：说　明　书 1/5 页 3 CN 114529908 A 3