(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111610441.X (22)申请日 2021.12.27 (65)同一申请的已公布的文献号 申请公布号 CN 113989125 A (43)申请公布日 2022.01.28 (73)专利权人 武汉楚精灵医疗科技有限公司 地址 430206 湖北省武汉市东湖新 技术开 发区高新大道818号武汉高科医疗器 械园B地块一期B10栋5层03号 (72)发明人 邢达奇　胡珊　刘奇为　 (74)专利代理 机构 深圳紫藤知识产权代理有限 公司 44570 代理人 杨婉秋 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/00(2006.01) G06T 7/00(2017.01)G06T 7/80(2017.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G16H 30/20(2018.01) (56)对比文件 CN 113129287 A,2021.07.16 CN 111784668 A,2020.10.16 CN 111353933 A,2020.0 6.30 CN 113808137 A,2021.12.17 CN 108665454 A,2018.10.16 CN 113642537 A,2021.1 1.12 陈冬青等.医用电子内窥镜图象畸变校正方 法的研究. 《中国生物医学工程学报》 .20 01,(第 01期),第1- 3节. 审查员 朱江 (54)发明名称 内镜图像的拼接方法、 装置、 计算机设备及 存储介质 (57)摘要 本发明实施例公开了一种内镜图像的拼接 方法、 装置、 计算机设备及存储介质。 该方法包 括： 对多张内镜图像进行过滤并获取过滤后的每 张内镜图像 之间的相似度； 根据所述相似度对所 述过滤后的多张内镜图像进行筛选， 得到筛选后 的多张内镜图像； 对筛选后的每张内镜图像进行 矫正， 得到矫正后的多张内镜图像； 对矫正后的 每张内镜图像中有效区域进行形状转换， 得到形 状转换后的多张内镜图像； 对形状转换后的多张 内镜图像进行拼接， 得到拼接后的内镜图像。 本 发明基于 人工智能技术， 通过该方法将整个内镜 场景完整地、 清晰地显示在拼接后的内镜图像 中， 便于医生快速的浏览整个内镜场景并精确的 定位患者的病灶位置， 进而极大的提高了查阅内镜视频的效率。 权利要求书2页 说明书11页 附图9页 CN 113989125 B 2022.04.12 CN 113989125 B 1.一种内镜图像的拼接方法， 其特 征在于， 包括： 对多张内镜图像进行 过滤， 得到过 滤后的多张内镜图像； 获取过滤后的每张内镜图像之间的相似度； 根据所述相似度对所述过滤后的多张内镜图像进行筛选， 得到筛选后的多张内镜图 像； 对筛选后的每张内镜图像进行矫 正， 得到矫 正后的多张内镜图像； 对矫正后的每张内镜图像中有效区域进行形状转换， 得到形状转换后的多张内镜图 像； 对形状转换后的多张内镜图像进行拼接， 得到拼接后的内镜图像； 所述对形状转换后的多张内镜图像进行拼接， 得到拼接后的内镜图像， 包括： 对形状转换后的每张内镜图像的关键点进行匹配， 得到形状转换后的每张内镜图像之 间的匹配结果； 具体的， 获取与待匹配点欧式距离最小的n个最佳匹配点并计算n个最佳匹 配点， 同时根据预设阈值对最佳匹配点进行区分， 预设阈值通过待匹配点与两个最佳匹配 点之间欧式距离的比值进行设定； 根据所述匹配结果对形状转换后的每张内镜图像进行单应性的矩阵变换， 得到矩阵变 换后的多张内镜图像； 对矩阵变换后的多张内镜图像进行拼接， 得到拼接后的内镜图像； 具体的， 根据内镜图 像在内镜视频中的时间序列对矩阵变换后的多张内镜图像进行排序并从中位内镜图像开 始向序列两端依次进行图像拼接 。 2.根据权利要求1所述的内镜图像的拼接方法， 其特征在于， 在所述对多 张内镜图像进 行过滤， 得到过 滤后的多张内镜图像之前， 还 包括： 对多张所述内镜图像的内镜 视频进行采帧， 得到多张所述内镜图像； 对多张所述内镜图像进行裁 剪处理， 得到裁剪后的多张内镜图像。 3.根据权利要求1所述的内镜图像的拼接方法， 其特征在于， 所述获取过滤后的每张内 镜图像之间的相似度， 包括： 根据差异哈希算法获取 过滤后的每张内镜图像的哈希指纹； 根据所述哈希指纹获取 过滤后的每张内镜图像之间的相似度。 4.根据权利要求3所述的内镜图像的拼接方法， 其特征在于， 在所述根据差异哈希算法 获取过滤后的每张内镜图像的哈希指纹之前， 还 包括： 对过滤后的每张内镜图像进行 灰度化处 理， 得到灰度化处 理后的内镜图像； 根据区域插值法对灰度化后的内镜图像进行伸缩处 理， 得到伸缩后的内镜图像。 5.根据权利要求1所述的内镜图像的拼接方法， 其特征在于， 所述对筛选后的每张内镜 图像进行矫 正， 得到矫 正后的多张内镜图像， 包括： 根据标定算法获取矫 正所述内镜图像的内参数矩阵和畸变参数； 根据所述内参数矩阵、 所述畸变参数对筛选后的每张内镜 图像进行畸变矫正， 得到矫 正后的多张内镜图像。 6.根据权利要求1所述的内镜图像的拼接方法， 其特征在于， 所述对矫正后的每张内镜 图像中有效区域进行 形状转换， 得到形状转换后的多张内镜图像， 包括： 根据预先训练的神经网络获取 所述有效区域的几何中心；权　利　要　求　书 1/2 页 2 CN 113989125 B 2根据所述几何中心对所述有效区域进行 形状转换， 得到形状转换后的多张内镜图像。 7.一种内镜图像的拼接装置， 其特 征在于， 包括： 过滤单元， 用于根据预先训练的卷积神经网络对多张内镜 图像进行过滤， 得到过滤后 的多张内镜图像； 第一获取 单元， 用于获取 过滤后的每张内镜图像之间的相似度； 筛选单元， 用于根据所述相似度对所述过滤后的多张内镜 图像进行筛选， 得到筛选后 的多张内镜图像； 矫正单元， 用于对筛 选后的每张内镜图像进行矫 正， 得到矫 正后的多张内镜图像； 第一变换单元， 用于对矫正后的每张内镜 图像中有效区域进行形状转换， 得到形状转 换后的多张内镜图像； 第一拼接单元， 用于对形状转换后的多张内镜图像进行拼接， 得到拼接后的内镜图像； 所述第一 拼接单元， 包括： 匹配单 元、 矩阵变换 单元和第二 拼接单元； 匹配单元， 用于对形状转换后的每张内镜 图像的关键点进行匹配， 得到形状转换后的 每张内镜图像之 间的匹配结果； 具体的， 获取与待匹配点欧式距离最小的n个最佳匹配点并 计算n个最佳匹配点， 同时根据预设阈值对最佳匹配点进行区分， 预设阈值通过待匹配点与 两个最佳匹配点之间欧式距离的比值进行设定； 矩阵变换单元， 用于根据所述匹配结果对形状转换后的每张内镜图像进行单应性的矩 阵变换， 得到矩阵变换后的多张内镜图像； 第二拼接单元， 用于对矩阵变换后的多张内镜图像进行拼接， 得到拼接后的内镜图像； 具体的， 根据内镜图像在内镜视频中的时间序列对矩阵变换后的多张内镜图像进 行排序并 从中位内镜图像开始向序列两端依次进行图像拼接 。 8.一种计算机设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至6 中任一项所述的内镜图像的拼接方法。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序当被处理器执行时使 所述处理器执行如权利要求1至6任一项 所述的内 镜图像的拼接方法。权　利　要　求　书 2/2 页 3 CN 113989125 B 3