(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111643635.X (22)申请日 2021.12.2 9 (71)申请人 小荷医疗器 械 （海南） 有限公司 地址 571924 海南省澄迈县老城镇高新 技 术产业示范区海南生态软件园沃克公 园8814一层1-2 (72)发明人 边成　李剑　赵秋阳　赵家英　 石小周　杨志雄　薛云鹤　李帅　 刘威　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 代理人 魏嘉熹 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/74(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 内窥镜图像检测辅助系统、 方法、 介质和电 子设备 (57)摘要 本公开涉及一种内窥镜图像检测辅助系统、 方法、 介质和电子设备， 所述系统包括： 图像处理 模块， 用于对内窥镜采集的内窥镜图像进行实时 处理， 获得组织图像； 腔体定位模块， 用于确定所 述组织图像对应的组织腔体的目标点， 所述目标 点用于指示所述内窥镜在其当前所处位置进镜 的下一目标移动点； 其中， 在所述组织图像中存 在组织腔体时， 所述目标点为所述内窥镜图像对 应的组织腔体的中心点， 在所述组织图像中不存 在组织腔体时， 所述目标点为所述内窥镜图像对 应的组织腔体的方向点； 息肉识别模块， 用于对 内窥镜在退镜模式下获得的组织图像进行实时 的息肉识别， 获得息肉识别结果； 显示模块， 用于 对所述目标点和所述息肉识别结果进行显示。 权利要求书5页 说明书22页 附图4页 CN 114332019 A 2022.04.12 CN 114332019 A 1.一种内窥镜图像 检测辅助系统， 其特 征在于， 所述系统包括： 图像处理模块， 用于对内窥镜采集的内窥镜图像进行实时处 理， 获得组织图像； 腔体定位模块， 用于确定所述组织图像对应的组织腔体的目标点， 所述目标点用于指 示所述内窥镜在其当前所处位置进镜的下一 目标移动点； 其中， 在所述组织图像中存在组 织腔体时， 所述目标点为所述内窥镜图像对应的组织腔体的中心点， 在所述组织图像中不 存在组织腔体时， 所述目标点 为所述内窥镜图像对应的组织腔体的方向点； 息肉识别模块， 用于对所述内窥镜在退镜模式下获得的组织图像进行实时的息肉识 别， 获得息肉识别结果； 显示模块， 用于对所述目标点和所述息肉识别结果进行显示。 2.根据权利要求1所述的系统， 其特 征在于， 所述系统还 包括： 盲区比例检测模块， 用于根据所述内窥镜在退镜模式下获得的组织图像， 确定显示比 例和盲区比例， 所述显示比例和所述盲区比例之和为1； 所述显示模块还用于显示所述显示比例和/或所述盲区比例， 并在所述盲区比例大于 盲区阈值的情况 下， 显示第一 提示信息， 所述第一 提示信息用于指示存在漏检风险。 3.根据权利要求2所述的系统， 其特征在于， 所述盲区比例检测模块还用于： 根据所述 内窥镜在退镜模式下获得 的组织图像进行三维重建， 获得三维组织图像； 并根据所述三维 组织图像和所述 三维组织图像对应的目标拟合组织图像， 确定 显示比例和盲区比例。 4.根据权利要求3所述的系统， 其特 征在于， 所述盲区比例检测模块还用于： 将所述三维组织图像中的点云数量、 和所述目标拟合组织图像的目拟合点云数量的比 值， 确定为所述显示比例， 并根据所述显示比例确定所述盲区比例。 5.根据权利要求1所述的系统， 其特 征在于， 所述系统还 包括： 三维定位模块， 用于根据所述内窥镜在进镜模式下获得的组织图像进行三维重建， 获 得三维组织图像； 并将所述三 维组织图像的中心线 上、 与所述目标点距离最近的点， 确定为 所述目标点在所述 三维组织图像的三维目标点； 姿态确定模块， 用于根据当前所处位置对应的组织图像、 历史时段内的组织图像， 确定 所述内窥镜的姿态信息； 轨迹确定模块， 用于根据所述当前所处位置、 所述姿态信息和所述三维目标点生成导 航轨迹； 所述显示模块还用于显示所述内窥镜的姿态信 息和所述三维组织图像， 并在所述三维 组织图像中显示所述 三维目标点和所述 导航轨迹。 6.根据权利要求1所述的系统， 其特 征在于， 所述系统还 包括： 图像分类模块， 用于对所述内窥镜在进镜模式下的组织图像进行分类， 获得所述组织 图像对应的目标分类， 其中， 所述目标分类包括异常 分类和多个内窥镜分类； 检测模式识别模块， 用于根据所述组织图像对应的目标分类， 对每一内窥镜分类的计 数器进行更新， 并在任一内窥镜分类对应的计数器的数值达到计数阈值时， 停止各个所述 计数器的计数操作， 并根据计数器的数值达到计数阈值的内窥镜分类确定所述内窥镜的检 测模式， 其中， 每一所述内窥镜分类具有其对应的计数器， 每一所述计数器的数值初始为 零； 所述息肉识别模块还用于： 根据所述检测模式识别模块确定出的检测模式所对应的息权　利　要　求　书 1/5 页 2 CN 114332019 A 2肉识别模型， 对所述内窥镜在退镜模式下获得的组织图像进行实时的息肉识别。 7.根据权利要求6所述的系统， 其特征在于， 所述检测模式识别模块通过如下方式根据 所述组织图像对应的目标分类， 对每一内窥镜分类的计数器进行 更新： 在所述目标分类为内窥镜分类时， 对所述目标分类对应的计数器进行加一操作， 对 除 所述目标分类之外、 计数器数值不为零的内窥镜分类对应的计数器进行减一操作； 在所述 目标分类为异常分类时， 则对计数器数值不为零的各个内窥镜 分类对应的计数器进行减一 操作， 以对每一内窥镜分类的计数器进行 更新。 8.根据权利要求1所述的系统， 其特 征在于， 所述系统还 包括： 模式识别模块， 用于根据图像识别模型对所述内窥镜的组织图像进行识别， 在所述图 像识别模型输出的对应于体内图像的参数大于第一参数阈值的情况下， 确定所述内窥镜的 图像模式为进镜模式， 在所述图像识别模型输出的对应于回盲瓣图像的参数大于第二参数 阈值的情况 下， 确定所述内窥镜的图像模式为退镜模式； 模式切换模块， 用于在内窥镜的图像模式为体外模式、 且所述模式识别模块确定所述 内窥镜的图像模式为进镜模式的情况下， 将所述内窥镜的图像模式切换至进镜模式， 在所 述内窥镜的图像模式为进镜模式、 且所述模式识别模块确定所述内窥镜的图像模式为退镜 模式的情况下， 将所述内窥镜的图像模式切换至退镜模式， 并输出第二提示信息， 所述第二 提示信息用于提 示进入退镜模式。 9.根据权利要求1所述的系统， 其特 征在于， 所述系统还 包括： 速度确定模块， 用于在所述内窥镜 图像的模式为退镜模式时， 获取当前组织图像对应 的多个历史组织图像， 并计算每一所述历史组织图像与当前组织图像之间的相似度， 根据 多个所述相似度确定退镜 速度； 所述显示模块还用于 显示所述内窥镜对应的所述退镜 速度。 10.根据权利要求9所述的系统， 其特 征在于， 所述系统还 包括： 清洁度确定模块， 用于对所述内窥镜在退镜模式下的组织图像进行清洁度分类， 并确 定每一清洁度分类下 的组织图像的数量； 根据每一所述清洁度分类下 的组织图像的数量， 确定所述组织图像对应的组织的清洁度。 11.根据权利要求1所述的系统， 其特 征在于， 所述息肉识别模块包括： 息肉检测子模块， 用于基于检测模型对所述内窥镜在退镜模式下获得的组织图像进行 检测， 在检测到所述组织图像存在息肉时， 确定所述息肉的位置信息； 息肉识别子模块， 用于从所述组织图像中提取与所述位置信息对应的检测图像； 根据 所述检测图像和识别模型确定所述息肉的分类； 所述显示模块还用于显示所述组织图像， 并在所述组织图像中显示所述息肉的位置信 息对应的标识和所述分类。 12.一种内窥镜图像 检测辅助方法， 其特 征在于， 所述方法包括： 对内窥镜采集的内窥镜图像进行实时处 理， 获得组织图像； 响应于确定所述内窥镜处于进镜模式， 确定所述组织图像对应的组织腔体的目标点， 所述目标点用于指示所述内窥镜在其当前所处位置进镜的下一 目标移动点； 其中， 在所述 组织图像中存在组织腔体时， 所述 目标点为所述内窥镜图像对应的组织腔体的中心点， 在 所述组织图像中不存在组织腔体时， 所述目标点为所述内窥镜图像对应的组织腔 体的方向权　利　要　求　书 2/5 页 3 CN 114332019 A 3