(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111650207.X (22)申请日 2021.12.2 9 (65)同一申请的已公布的文献号 申请公布号 CN 114332025 A (43)申请公布日 2022.04.12 (73)专利权人 长沙慧维智能医疗科技有限公司 地址 410000 湖南省长 沙市雨花区振华路 579号康庭园一期7栋901室2号 （集群 注册439号） (72)发明人 曹鱼　熊孜楠　陈齐磊　刘本渊　 (74)专利代理 机构 南京利丰知识产权代理事务 所(特殊普通 合伙) 32256 专利代理师 王锋 (51)Int.Cl. G06T 7/00(2017.01)G06T 5/00(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) A61B 1/273(2006.01) A61B 1/00(2006.01) G06V 10/774(2022.01) G06V 10/764(2022.01) (56)对比文件 CN 112070124 A,2020.12.1 1 CN 108596897 A,2018.09.28 CN 113288007 A,2021.08.24 CN 112837275 A,2021.0 5.25 JP 2011024727 A,201 1.02.10 审查员 罗煜川 (54)发明名称 消化内镜口咽通过时间自动检测系统及方 法 (57)摘要 本发明公开了一种消化内镜口咽通过时间 自动检测系统及方法。 所述自动检测系统包括图 像动态预处理模块、 基于卷积神经网络的场景分 类器、 双向场景转换模块、 异常情况处理模块以 及口咽通过时间计算模块等。 本发 明提供的自动 检测系统及方法能够准确地为消化内镜CAD系统 提供场景信息， 以及， 准确地确定消化内镜从离 开口腔末端到向下进入食道的时长， 并输出口咽 通过时间， 从而可以辅助对消化内镜操作者的水 平进行准确的评估。 权利要求书3页 说明书10页 附图6页 CN 114332025 B 2022.07.26 CN 114332025 B 1.一种消化内镜口咽 通过时间自动检测系统， 其特 征在于， 包括： 图像动态预处理模块， 用于对从消化内镜设备输出的原始图像进行预处理， 以获取场 景图像； 基于卷积神经网络的场景分类 器， 用于对所述场景图像进行分类； 双向场景转换模块， 用于将所述场景分类器产生的分类序列作为输入， 在时序方向对 当前的计算区间进行移动， 再在区间内部进行分类总值统计， 并根据当前场景确定下一步 场景； 异常情况处理模块， 用于在消化内镜检查过程中对由异常情况引起的时序混乱进行处 理， 以正确判断消化内镜的场景转换时间点； 口咽通过时间计算模块， 用于依据 所述双向场景转换模块和异常处理模块输出的信 息 以及当前区间场景， 判断消化内镜通过口腔末端的时间点和消化内镜到达食道中上端的时 间点， 并计算该两个时间点的时间差， 获得消化内镜口咽 通过时间； 所述双向场景转换模块依据如下 条件1~条件5确定场景转换； 其中体外场景转换为口腔场景由条件1决定， 条件1包括： 当前所处场景为体外场景， 以及 区间内分类总值 > s1， 其中i代表区间中的场景状态值， 取值范围为[0,1, 2,3]， 分别代表体外、 口腔、 咽部、 食道中上部场景， s1= 代表场景可以发生 转换时区间内的分类总值， 其中N代表区间大小， 0代表当前帧被分类为体外， 1代表当前帧 被分类为口腔； 口腔场景转换为体外场景由条件2决定， 条件2包括： 当前所处场景为口腔场景， 以及 区间内分类总值 <= s1， 其中i代表区间中的值， 取值范围为[0,1,2,3]， 分 别代表体外、 口腔、 咽部、 食道中上部场景， s1= 代表场景可以发生转换时区 间内的分类总值， 其中N代表区间大小， 0代表当前帧被分类为体外， 1代表当前帧被分类为 口腔； 口腔场景转换为 咽部场景由条件3决定， 条件3包括： 当前场景为口腔场景， 区间内分类总值 > s2， 其中i代表区间中的值， 取值范围为[0,1,2,3]， 分别 代表体外、 口腔、 咽部、 食道中上部场景， s2= 代表场景可以发生转换时区间 内的分类总值， 其中N代表区间大小， 1代表当前帧被分类为口腔， 2代表当前帧被分类为咽 部， 以及 当前口腔标志位 为1， 代表已经检测到口腔； 咽部场景转换为口腔场景由条件4决定， 条件4包括： 当前场景为 咽部场景， 区间内分类总值 <= s2， 其中i代表区间中的值， 取值范围为[0,1,2,3]， 分权　利　要　求　书 1/3 页 2 CN 114332025 B 2别代表体外、 口腔、 咽部、 食道中上部场景， s2= 代表场景可以发生转换时区 间内的分类总值， 其中N代表区间大小， 1代表当前帧被分类为口腔， 2代表当前帧被分类为 咽部； 咽部场景转换为食道中上部场景由条件5决定， 条件5包括： 当前场景为 咽部场景； 区间内分类总值 > s3， 其中i代表区间中的值， 取值范围为[0,1,2,3]， 分别 代表体外、 口腔、 咽部、 食道中上部场景， s3= 代表场景可以发生转换时区间 内的分类总值， 其中N代表区间大小， 2代表当前帧被分类为咽部， 3代表当前帧被分类为食 道中上部 。 2.根据权利要求1所述的消化内镜口咽通过时间自动检测系统， 其特征在于： 所述图像 动态预处理模块用于动态地裁剪除去原始图像中的无效图像区域， 并保留有效图像区域作 为所述场景图像， 所述无效图像区域包括原始图像中的黑色边框区域， 所述有效图像区域 包括直接从消化内镜 镜头内拍摄到的区域。 3.根据权利要求2所述的消化内镜口咽通过时间自动检测系统， 其特征在于： 所述图像 动态预处理模块用于对原始图像的像素值进 行逐行逐列扫描， 并对各行各列的像素值进 行 求和， 当扫描到的任一行或任一列的像素和大于预设的阈值c时， 判断离开无效图像区域， 并开始进入有效图像区域， 记录此时的坐标信息， 同理， 当在有效图像区域内继续向后或向 下扫描， 且扫描到任一行或任一列的像素和小于或等于预设的阈值c时， 判断离开有效图像 区域， 记录此时的坐标信息， 当获取到所有坐标信息后， 将这些坐标以外的无效图像区域去 除， 从而获得场景图像。 4.根据权利要求1所述的消化内镜口咽通过时间自动检测系统， 其特征在于： 所述基于 卷积神经网络的场景分类 器是利用训练数据集进行训练获得的； 其中， 所述训练数据集的获取方法包括： 根据基于监督的机器学习的要求， 首先采样多 种场景图像作为数据来源， 多种场景图像包括体外场景图像、 口腔场景图像、 咽部场景图像 和食道中上部场景图像， 并经 过专业医生进行质量审核及精确标注后， 形成训练数据集。 5.根据权利要求4所述的消化内镜口咽通过时间自动检测系统， 其特征在于： 所述基于 卷积神经网络的场景分类器是基于预训练样本集进行预训练后， 再基于所述训练数据集进 行训练获得； 所述训练数据集、 预训练样本集所包含的场景图像均是经所述图像动态预处 理模块处 理过的。 6.根据权利要求4所述的消化内镜口咽通过时间自动检测系统， 其特征在于： 所述场景 分类器以单帧消化内镜图像作为输入， 通过通用卷积神经网络后形成预定维度的特征向 量， 所述特 征向量经 过多分类线性分类 器之后， 获得场景图像的分类标签。 7.根据权利要求1所述的消化内镜口咽通过时间自动检测系统， 其特征在于： 所述双向 场景转换模块用于将所述场景分类器的分类结果纳 入当前的计算区间， 并统计区间内分类 总值， 再根据当前场景和区间内分类总值， 更新当前场景标志位， 以及， 根据当前场景标志 位及区间内分类总值， 确定场景转换。 8.根据权利要求1所述的消化内镜口咽通过时间自动检测系统， 其特征在于， 所述异常权　利　要　求　书 2/3 页 3 CN 114332025 B 3