(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111674219.6 (22)申请日 2021.12.31 (71)申请人 福建亿能达信息技 术股份有限公司 地址 350000 福建省福州市 鼓楼区软件大 道89号福州软件园A区28号楼二层 (72)发明人 黄家昌　赖奇嵘　杨辉　邱道椿　 (74)专利代理 机构 福州市鼓楼区京华专利事务 所(普通合伙) 35212 专利代理师 王美花 (51)Int.Cl. G06V 30/42(2022.01) G06V 30/20(2022.01) G06V 10/25(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种银行卡的OCR识别方法、 装置、 设备和介 质 (57)摘要 本发明提供一种银行卡的OCR识别方法、 装 置、 设备和介质， 方法包括： 检测角度模 型检测银 行卡图片的输入角度； 文本检测模 型检测处于正 确角度的银行卡图片， 先识别出银行卡图片各个 可能存在文字的图像区域， 利用FPN网络结构关 注银行卡图片中的细节信息和语义信息， 得到感 兴趣区域； 再由文本识别模型获取更深层次的信 息， 并添加双向LS TM层以获取当前图片区域的上 下文信息， 从而做更精准的结果预测和校验， 得 到识别结果。 有了本发明， 即使银行卡背景复杂， 以及摄取图像时因光照强度、 拍摄角度等情况的 干扰， 也能准确、 高效地识别相关信息 。 权利要求书4页 说明书8页 附图3页 CN 114511867 A 2022.05.17 CN 114511867 A 1.一种银 行卡的OCR识别方法， 其特 征在于： 包括下述 步骤： S1、 检测角度模型检测银行卡图片的输入角度， 若输入角度不是正确角度， 则将输入角 度旋转为正确角度； S2、 文本检测模型检测处于正确角度的银行卡图片， 先识别出银行卡图片各个可能存 在文字的图像区域， 利用FPN网络结构关注银行卡图片中的细节信息和语义信息， 得到感兴 趣区域； S3、 文本识别模型对感兴趣区域通过五个卷积层获取更深层次的信息， 并在五个卷积 层之后添加双向LSTM层以获取当前图片区域的上下文信息， 利用上下文信息对图片区域做 更精准的结果预测 和校验， 得到识别结果； S4、 全连接层对识别结果进行多字符的分类， 得到不同图像区域的字符串； S5、 对得到的不同图像区域的字符串， 利用模板匹配的方式获取 银行卡信息 。 2.根据权利要求1所述的一种银行卡的OCR识别方法， 其特征在于： 所述文本检测模型 依次包括向上通道、 向下通道和拼接层； 所述向上通道对银行卡图片的特征进行卷积得到 四个不同大小的特征图， 所述向下通道将四个特征图分别上采样为同一大小； 所述拼接层 将上采样后的四个特 征图进行拼接； 其中： 所述向上通道包括一层输入层和四层卷积层， 五层卷积层的卷积核较小， 用于关注银 行卡中的单字信息； 四层卷积层中， 相对低层网络用来关注银行卡的细节信息， 相对高层网 络用于关注银 行卡的语义信息； 所述向下通道的各卷积层整合与所述向上通道中同层的数据和本卷积层的上一卷积 层的数据， 获得不同尺度的信息， 将向上通道和向下通道对应层特征叠加， 使得同一层的特 征包括上层的语义信息和下层的细节信息； 所述拼接层用于拼接所述向下通道的各卷积层输出的不同维度 数据， 根据不同维度 数 据采集不同粒度的信息， 首先用一层卷积层整合不同维度的数据， 再用两层空洞卷积层做 特征筛选， 得出目标区域文字中最符合的感受野尺度特 征， 并得到感兴趣图像区域。 3.根据权利要求2所述的一种银 行卡的OCR识别方法， 其特 征在于： 所述向上通道的具体构成为： 第一层是输入层， 用于 输入图像； 第二层是 卷积层， 卷积核为1*1， 步长为1*1， 填充为1*1， 通道数为512； 第三层是 卷积层， 卷积核为1*1， 步长为1*1， 填充为1*1， 通道数为25 6； 第四层是 卷积层， 卷积核为1*1， 步长为1*1， 填充为1*1， 通道数为128； 第五层是 卷积层， 卷积核为1*1， 步长为1*1， 填充为1*1， 通道数为64； 第二层至第五层得到四个特 征图， 分别为1/4、 1/8、 1/16、 1/ 32大小； 所述向下通道的具体构成为： 第一层是 所述向上通道的第五层； 第二层是卷积层， 卷积核为3*3， 填充为1*1， 通道数为64， 上采样方式中， 输出为输入的 1倍； 第三层是卷积层， 卷积核为3*3， 填充为1*1， 通道数为64， 上采样方式中， 输出为输入的 2倍； 第四层是卷积层， 卷积核为3*3， 填充为1*1， 通道数为64， 上采样方式中， 输出为输入的权　利　要　求　书 1/4 页 2 CN 114511867 A 24倍； 第五层是卷积层， 卷积核为3*3， 填充为1*1， 通道数为64， 上采样方式中， 输出为输入的 8倍； 第二层至第五层将四个特 征图分别上采样为1/4大小； 所述拼接层的具体构成为： 第一层是卷积层， 卷积核为3*3， 填充为1*1， 通道数为64， 归一化方法为BN， 激活函数为 ReLU； 第二层是空洞卷积层， 卷积核为2*2， 步长为2*2， 通道数为64， 归一化方法为BN， 激活函 数为ReLU； 第三层是空洞卷积层， 卷积核为2*2， 步长为2*2， 通道数为64， 激活函数为Sigmo id。 4.根据权利要求1所述的一种银行卡的OCR识别方法， 其特征在于： 所述文本识别模型 的具体构成为： 第一层是 卷积层， 卷积核为3 *3， 填充为1*1， 步长为1*1， 通道数为64， 用来 提取特征； 第二层是最大池化层， 滑动窗口为2*2， 步长为2*2， 用2*2的滑动窗口来捕捉长宽比近 似的文字， 并增 加特征维度； 第三层是 卷积层， 卷积核为3 *3， 填充为1*1， 步长为1*1， 通道数为128， 用来 提取特征； 第四层是最大池化层， 滑动窗口为2*2， 步长为2*2， 用2*2的滑动窗口来捕捉长宽比近 似的文字， 并增 加特征维度； 第五层是 卷积层， 卷积核为3 *3， 填充为1*1， 步长为1*1， 通道数为25 6； 第六层是 卷积层， 卷积核为3 *3， 填充为1*1， 步长为1*1， 通道数为25 6； 第七层是最大池化层， 滑动窗口为1*2， 步长为2*2； 用1*2的滑动窗口来捕捉长宽比较 大的数字， 并增 加特征维度； 第八层是卷积层， 卷积核为3*3， 填充为1*1， 步长为1*1， 通道数为512， 归一化方法为 BN； 第九层是最大池化层， 滑动窗口为1*2， 步长为1*1， 用1*2的滑动窗口来长宽差别较大 的数字； 第十层是 卷积层， 卷积核为2*2， 步长为1*1， 通道数为512； 第十一层是 前向长短期记 忆网络层， 隐藏单 元数为512， 获取当前文字的下文信息； 第十二层是反前向长短期记 忆网络层， 隐藏单 元数为512， 获取当前文字的上文信息 。 5.一种银 行卡的OCR识别装置， 其特 征在于： 包括： 检测角度模型， 用于检测银行卡图片的输入角度， 若输入角度不是正确角度， 则将输入 角度旋转 为正确角度； 文本检测模型， 用于检测 处于正确角度的银行卡图片， 先识别出银行卡图片各个可能 存在文字的图像区域， 利用FPN网络结构关注银行卡图片中的细节信息和语义信息， 得到感 兴趣区域； 文本识别模型， 用于对感兴趣区域通过五个卷积层获取更深层次的信息， 并在五个卷 积层之后添加双向LSTM层以获取当前图片区域的上下文信息， 利用上下文信息对图片区域 做更精准的结果预测 和校验， 得到识别结果； 全连接层， 用于对识别结果进行多字符的分类， 得到不同图像区域的字符串；权　利　要　求　书 2/4 页 3 CN 114511867 A 3