(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111632890.4 (22)申请日 2021.12.2 9 (71)申请人 壹链盟生态科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 （入驻深圳市 前海商务秘书 有限公司） (72)发明人 陈君麟　林子越　 (74)专利代理 机构 成都顶峰专利事务所(普通 合伙) 51224 专利代理师 陈秋霞 (51)Int.Cl. G06V 30/412(2022.01) G06V 30/148(2022.01) G06T 7/11(2017.01) G06T 5/40(2006.01)G06T 5/30(2006.01) G06K 9/62(2022.01) G06F 40/183(2020.01) G06F 40/18(2020.01) G06V 10/774(2022.01) (54)发明名称 一种表格识别方法及系统 (57)摘要 本发明涉及数字图像处理技术领域， 其目的 在于提供一种表 格识别方法及系统。 其中的表格 识别方法包括： 获取文档图像， 并从文档图像中， 提取出仅包含表格的图像区域， 得到表格图像； 对表格图像进行预处理， 得到预处理后表格图 像； 对预处理后表格图像中的表格线进行信号增 强， 得到增强后表格图像； 提取增强后表格图像 中表格内各交点的点集， 并根据点集得到增强后 表格图像的表格结构； 对增强后表格图像进行文 本检测， 得到文本检测结果； 对文本检测结果进 行文字识别， 得到文字识别结果； 根据表格结构 及文字识别结果， 生成电子表格。 本发明可针对 版面复杂的保单等文档中的表格进行检测、 识别 和还原， 便于对复杂文档进行表格自动录入和归 档管理。 权利要求书3页 说明书9页 附图8页 CN 114581928 A 2022.06.03 CN 114581928 A 1.一种表格识别方法， 其特 征在于： 包括： 获取文档图像， 并从所述文档图像中， 提取 出仅包含表格的图像区域， 得到表格图像； 对所述表格图像进行 预处理， 得到预处 理后表格图像； 对所述预处 理后表格图像中的表格线 进行信号增强， 得到增强后表格图像； 提取所述增强后表格图像中表格内各交点的点集， 并根据 所述点集得到增强后表格图 像的表格结构； 对所述增强后表格图像进行文本检测， 得到文本检测结果； 对所述文本检测结果进行文字识别， 得到文字识别结果； 根据所述表格结构及所述文字识别结果， 生成电子表格。 2.根据权利要求1所述的一种表格识别方法， 其特征在于： 从所述文档图像中， 提取出 仅包含表格的图像区域， 得到表格图像， 包括： 构建目标检测模型； 获取样本集， 并将样本集导入所述目标检测模型中， 对目标检测模型进行多尺度训练， 得到初次训练后目标检测模型； 其中， 所述样本集中样本包括含有表格的文档图像； 使用剪枝技 术， 对初次训练后目标检测模型进行简化， 得到简化后目标检测模型； 基于迁移学习， 对所述样本集进行 标注， 得到标注信息； 将标注信息输入简化后目标检测模型中， 对简化后目标检测模型进行再次训练， 得到 最终训练后目标检测模型； 将所述文档图像输入最终训练后目标检测模型， 得到表格图像。 3.根据权利要求2所述的一种表格识别方法， 其特征在于： 所述目标检测模型采用FCOS 模型。 4.根据权利要求1所述的一种表格识别方法， 其特征在于： 对所述表格图像进行预处 理， 得到预处 理后表格图像， 包括： 将所述表格图像转化为灰度图像， 再计算所述灰度图像的直方图， 对所述直方图进行 统计分析， 得到所述灰度图像中背景像素的灰度平均值及灰度值范围； 对所述直方图的背景像素点进行过滤， 得到过滤后直方图， 再遍历所述直方图中剩下 的目标像素点及其灰度值， 得到所述目标像素点之间的最大类间方差对应的灰度值； 将所述最大类间方差对应的灰度值作为阈值， 对所述表格图像进行二值化处理， 得到 预处理后表格图像。 5.根据权利要求4所述的一种表格识别方法， 其特征在于： 对所述直方图的背景像素点 进行过滤， 得到过 滤后直方图后， 所述表格识别方法还 包括： 将过滤后直方图导入训练后ESRGAN模型中， 对所述灰度图像进行超分辨 率转换。 6.根据权利要求4所述的一种表格识别方法， 其特征在于： 对所述表格图像进行二值化 处理后， 所述表格识别方法还 包括： 基于霍夫变换， 得到二 值化处理后表格图像中的第一线段集 合； 计算所述第一线段集 合的倾斜角平均值； 过滤所述第一线段集 合中偏离倾 斜角平均值的第二线段， 得到第二线段集 合； 获取第二线段集 合的倾斜角平均值， 得到所述 二值化处理后表格图像的倾 斜角度； 根据所述二值化处理后表格图像的倾斜角度， 基于平面仿射变换， 对所述二值化处理权　利　要　求　书 1/3 页 2 CN 114581928 A 2后表格图像进行 校正。 7.根据权利要求6所述的一种表格识别方法， 其特征在于： 提取所述增强后表格图像中 表格内各交点的点 集， 并根据所述 点集得到增强后表格图像的表格结构， 包括： 通过矩阵相交的方法， 提取述增强后表格图像中表格内每 个交点的点 集； 根据所述 点集和增强后表格图像， 确定所述增强后表格图像中所有单 元格的结构； 根据所有单 元格的结构， 得到所述增强后表格图像的表格结构。 8.根据权利要求7所述的一种表格识别方法， 其特征在于： 根据 所述点集和增强后表格 图像， 确定所述增强后表格图像中所有单 元格的结构， 包括： 构建一个单元格类， 其中单元格类的属性包括单元格的左上角坐标、 单元格的右下角 坐标及归属交点； 对增强后表格图像中表格内所有交点的点集进行筛选， 从每个点集中选出唯一的交 点， 再分别对所有交点的横纵坐标进行排序， 得到排序后交点； 根据所述 排序后交点的横纵坐标， 分别聚类出 所有可能的单 元格的长度和宽度； 根据所述增强后表格图像构建一个完整表格， 所述完整表格不存在合并单 元格； 对于完整表格 中任意两个相邻的单元格的左上角坐标连线， 按两个交点之间逐个像素 构建垂直于 两交点连线， 且长度为预设值的第三线段， 得到第三线段集 合； 将所述增强后表格图像作为参考对象， 判断所述第三线段集合中， 是否存在至少一条 第三线段的像素值之和为0， 若 是， 则判定所述二值化处理后表格图像中与该第三线段对应 的两个单元格为合并单元格， 再修改该两个单元格中后一单元格的类属 性， 使其与前一个 单元格归属于同一个交点， 若否， 则判定所述二值化处理后表格图像中与该第三线段对应 的两个单 元格为独立单 元格； 遍历所述增强后表格图像中的所有单元格， 直到得到所述增强后表格图像中所有单元 格的结构。 9.根据权利要求1所述的一种表格识别方法， 其特征在于： 对所述增强后表格图像进行 文本检测， 得到文本检测结果， 包括： 基于训练后DB模型， 对所述增强后表格图像进行文本检测， 得到文本检测结果。 10.一种表格识别系统， 其特征在于： 用于实现如权利要求1至9中任一项所述的表格识 别方法； 所述表格识别系统包括： 表格图像提取模块， 用于获取文档图像， 并从所述文档图像中， 提取出仅包含表格的图 像区域， 得到表格图像； 表格图像预处理模块， 通信连接于所述表格图像提取模块， 用于对所述表格图像进行 预处理， 得到预处 理后表格图像； 表格图像增强模块， 通信连接于所述图像预处理模块， 用于对所述预处理后表格图像 中的表格线 进行信号增强， 得到增强后表格图像； 表格结构识别模块， 通信连接于所述表格图像增强模块， 用于提取所述增强后表格图 像中表格内各交点的点 集， 并根据所述 点集得到增强后表格图像的表格结构； 文本检测模块， 通信连接于所述表格图像增强模块， 用于对所述增强后表格图像进行 文本检测， 得到文本检测结果； 文字识别模块， 通信连接于所述文本检测模块， 用于对所述文本检测结果进行文字识权　利　要　求　书 2/3 页 3 CN 114581928 A 3