(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111663718.5 (22)申请日 2021.12.31 (71)申请人 深圳云天励飞技 术股份有限公司 地址 518000 广东省深圳市龙岗区园山 街 道龙岗大道8288号深圳大运软件小镇 17栋1楼 (72)发明人 叶嘉权　王孝宇　肖嵘　 (74)专利代理 机构 深圳驿航知识产权代理事务 所(普通合伙) 44605 专利代理师 杨伦 (51)Int.Cl. G06V 30/226(2022.01) G06V 30/14(2022.01) G06V 30/18(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 手写公式识别方法及相关 设备 (57)摘要 本发明实施例提供一种手写公 式识别方法， 包括： 获取待识别图像， 所述待识别图像中包括 待识别的手写公 式； 通过特征提取模块对所述待 识别图像进行特征提取处理， 得到所述待识别图 像的待解码特征； 通过基于自注 意力模块的解码 器对所述待解码特征进行解码处理， 得到所述手 写公式的识别结果。 可以在提取到待识别图像的 待解码特征后， 通过基于自注 意力模块的解码器 对所述待解码特征进行解码处理， 从而得到手写 公式的识别结果， 可 以利用自注意力机制， 提高 模型对公式符号的感知能力， 减缓手写风格差异 带来的影响； 同时可 以捕获特征的内部关联性， 解决长距离依赖问题， 提高对复杂公 式的识别准 确率。 权利要求书2页 说明书10页 附图5页 CN 114445828 A 2022.05.06 CN 114445828 A 1.一种手写公式识别方法， 其特 征在于， 包括以下步骤： 获取待识别图像， 所述待识别图像中包括待识别的手写公式； 通过特征提取模块对所述待识别图像进行特征提取处理， 得到所述待识别图像的待解 码特征； 通过基于自注意力模块的解码器对所述待解码特征进行解码处理， 得到所述手写公式 的识别结果。 2.如权利要求1所述的方法， 其特征在于， 在所述对所述待识别图像进行特征提取， 得 到所述待识别图像的待解码特 征的步骤之前， 所述方法还 包括： 在保持所述待识别图像的宽高比例的条件下， 对所述待识别图像进行尺寸调整， 得到 尺寸调整后的待识别图像； 对所述尺寸调整后的待识别图像进行填充或裁 剪， 得到预设尺寸大小的待识别图像。 3.如权利要求2所述的方法， 其特征在于， 所述通过所述特征提取模块对所述待识别图 像进行特征提取， 得到所述待识别图像的待解码特 征， 包括： 通过所述特征提取模块以预设比例的压缩率对所述待识别图像进行特征提取， 得到所 述待识别图像的待解码特 征。 4.如权利要求3所述的方法， 其特征在于， 所述通过所述特征提取模块以预设的压缩率 对所述待识别图像进行 特征提取， 得到所述待识别图像的待解码特 征， 包括： 在所述待识别图像的宽度方向设置第 一压缩率， 在所述待识别图像的高度方向上设置 第二压缩率； 在所述特征提取模块通过所述第 一压缩率与所述第 二压缩率， 对所述待识别图像进行 特征提取， 得到所述待识别图像的待解码特 征。 5.如权利要求1所述的方法， 其特征在于， 在所述通过特征提取模块对所述待识别图像 进行特征提取处 理的步骤之前， 所述方法还 包括： 构建数据集， 所述数据集包括样本图像与公式标签， 所述样本图像 中包括手写公式， 所 述公式标签为所述样本图像中的手写公式所对应的真实 公式； 通过所述数据集对所述特 征提取模块与所述基于自注意力模块的解码器。 6.如权利要求5所述的方法， 其特 征在于， 所述构建数据集， 包括： 获取第一样本图像与公式标签， 所述第一样本图像包括手写公式； 将所述第一样本 图像进行数据增强， 得到第二样本 图像， 并为所述第二样本 图像关联 所述公式标签； 基于所述第一样本图像、 所述第二样本图像以及所述公式标签， 构建得到所述数据集。 7.如权利要求5所述的方法， 其特 征在于， 所述构建数据集， 包括： 获取第一样本图像与公式标签， 所述第一样本图像包括第一手写公式； 在所述第一样本图像中第一手写的水平方向和竖直方向中的至少一个方向堆叠第二 手写公式， 得到第三样本图像， 并为所述第三样本图像关联 所述公式标签； 基于所述第一样本图像、 所述第三样本图像以及所述公式标签， 构建得到所述数据集。 8.一种手写公式识别装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取待识别图像， 所述待识别图像中包括待识别的手写公式； 提取模块， 用于通过特征提取模块对所述待识别图像进行特征提取处理， 得到所述待权　利　要　求　书 1/2 页 2 CN 114445828 A 2识别图像的待解码特 征； 第一解码模块， 用于通过基于自注意力模块的解码器对所述待解码特征进行解码处 理， 得到所述手写公式的识别结果。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求 1至7中 任一项所述的手写公式识别方法中的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7中任一项 所述的手写公式识别 方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114445828 A 3