(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111644019.6 (22)申请日 2021.12.2 9 (71)申请人 厦门影诺医疗科技有限公司 地址 361021 福建省厦门市集美区软件园 三期诚毅北 大街63号704单 元 (72)发明人 林煜　 (74)专利代理 机构 厦门千旭专利代理事务所 (特殊普通 合伙) 35285 代理人 郑云超 (51)Int.Cl. A61B 1/273(2006.01) A61B 1/00(2006.01) A61B 1/04(2006.01) G06K 9/62(2022.01) G16H 50/20(2018.01) (54)发明名称 一种消化道内镜自动识别手术类型方法、 系 统和应用 (57)摘要 本发明提供一种消化道内镜自动识别手术 类型方法、 系统和应用， 包括： 数据获取， 医生在 手术时需借助消化道内镜， 本发 明通过消化道内 镜视频流获取检测帧； 检测位置判断， 将所述检 测帧输入手术类型分类模型以判断所述检测帧 对应的检测位置； 手术类型判断， 综合多个检测 位置的判断结果， 判断当前的手术类型并输出结 果。 本发明能够为医生的手术提供辅助， 医生无 需在辅助诊断设备上进行手动切换， 提高了手术 的效率， 也提高了医生对辅助在 诊断设备的使用 体验。 权利要求书1页 说明书5页 附图6页 CN 114287875 A 2022.04.08 CN 114287875 A 1.一种消化道内镜自动识别手术类型 方法， 其特 征在于， 包括： 数据获取， 通过消化道内镜 视频流获取检测帧； 检测位置判断， 将所述检测帧输入手术类型分类模型以判断所述检测帧对应的检测位 置； 手术类型判断， 综合多个 检测位置的判断结果， 判断当前的手术类型并输出 结果。 2.据权利要求1所述的一种消化道内镜自动识别手术类型方法， 其特征在于， 数据获取 时， 获取消化道内镜视频流的每一帧以获取检测帧， 或者 获取消化道内镜视频流的每一帧， 并每间隔N帧筛 选出一帧检测帧。 3.根据权利要求1所述的一种消化道内镜自动识别手术类型方法， 其特征在于， 所述检 测位置包括口部、 咽部、 肛口和其它。 4.根据权利要求3所述的一种消化道内镜自动识别手术类型方法， 其特征在于， 所述手 术类型分类模型通过对训练数据进行深度学习训练获得， 采用Mob ileNetV2、 Mob ileNetV3 或ResNet网络结构。 5.根据权利要求4所述的一种消化道内镜自动识别手术类型方法， 其特征在于， 所述训 练数据为人工在历史手术录像中挑选出的各个 手术类型对应的图像帧。 6.根据权利要求3所述的一种消化道内镜自动识别手术类型方法， 其特征在于， 所述检 测位置判断包括判断结束条件。 7.根据权利要求6所述的一种消化道内镜自动识别手术类型方法， 其特征在于， 所述判 断结束条件为： 当检测出口部、 咽部、 肛口 的帧数大于超参A， 停止获取获取检测帧； 或者为： 记录第一次出现口部或咽部或肛口的检测帧的帧序号， 记为第T帧； 设置超参B， 当视频 流进行到第T+B帧时， 停止获取获取检测帧。 8.根据权利要求7所述的一种消化道内镜自动识别手术类型方法， 其特征在于， 当达到 所述判断结束 条件时， 进入手术类型判断： 当口部和咽部的帧数大于肛口的帧数， 则判断为 该手术是上消化道； 当口部和咽部的帧数小于肛口的帧数， 则判断为该手术是下消化道； 当 口部和咽部的帧数等于肛口 的帧数， 则判断为未在进行手术当中。 9.一种消化道内镜自动识别手术类型系统， 其特 征在于， 包括： 数据采集模块， 通过消化道内镜 视频流获取检测帧； 数据处理模块， 将所述检测帧输入手术类型分类模型以判断所述检测帧对应的检测位 置； 并综合多个 检测位置的判断结果， 判断当前的手术类型并输出 结果。 10.一种消化道内镜自动识别手术类型设备， 其特征在于， 包括： 存储器、 处理器； 所述 存储器上存储有可执行代码， 当所述可执行代码被所述处理器执行时， 使所述处理器执行 如权利要求1到8所述的消化道内镜自动识别手术类型 方法。权　利　要　求　书 1/1 页 2 CN 114287875 A 2一种消化道内镜自动识别手术类型方 法、 系统和应用 技术领域 [0001]本发明涉及医疗图像的计算机辅助处理技术领域， 尤其涉及一种消化道内镜自动 识别手术类型 方法。 背景技术 [0002]消化道主要可以分为上消化道和下消化道两个大类。 上消化道包括食管镜、 胃镜、 十二指肠镜， 而下消化道包括小肠镜、 结肠镜等。 [0003]随着人们就诊意识的增强以及AI辅助诊断在临床中应用的越来越广泛， 区分一例 手术是上消化道手术还是下消化道手术， 成为了AI辅助诊断首要面临的问题。 因为两种类 型的手术所使用到的深度学习模型 是完全不同的。 [0004]目前有些型号的镜体插到内镜主机后， 界面会显示镜子的型号。 例如奥林巴斯290 型号的下消化手术， 屏幕 上会显示CF ‑H290， 奥林巴斯290型号的下消化道手术， 屏幕 上则会 显示GIF‑H290。 当显示镜子型号的时候， 可以利用OCR  技术进行文字识别， 从而分别出手术 是上消化道还是下消化道。 但并不是所有型号的内镜都具有显示型号的功能， 例如宾得 i7000， 当屏幕上没办法显示镜子型号的时候， 无法判断是上消化道手术还是下消化道手 术。 对于A I辅助诊断就无法对症下药， 使用正确的模型进 行诊断。 如果需要医生手动再辅助 诊断设备上进行切换则浪费时间， 用户体验不好。 可见， 为了解决上述问题， 需提出一种能 够自动识别消化道手术类型的方法。 发明内容 [0005]本发明实施例提供一种消化道内镜自动识别手术类型方法和应用， 该技术方案能 够自动识别手术类型， 以辅助医生进行手术。 [0006]第一方面， 提出一种消化道内镜自动识别手术类型 方法， 包括： [0007]数据获取， 医生在手术时需借助消化道内镜， 本发明通过消化道内镜视频流获取 检测帧； [0008]检测位置判断， 将所述检测帧输入手术类型分类模型以判断所述检测帧对应的检 测位置； [0009]手术类型判断， 综合多个 检测位置的判断结果， 判断当前的手术类型并输出 结果。 [0010]本发明先是通过检测帧判断医生当前的检测位置， 再将所获得的多个检测位置结 果综合起来， 进一步判断出医生当前进行的是何种手术。 [0011]进一步的， 数据获取时， 获取消化道内镜视频流的每一帧以获取检测帧， 或者获取 消化道内镜视频流的每一帧， 并每间隔N帧筛选出一帧检测帧， 即获取检测帧的具体方式较 为灵活， 可根据实际情况确定 。 [0012]进一步的， 所述检测位置包括口部、 咽部、 肛口和其它。 [0013]进一步的， 所述手术类型分类模型通过对训练数据进行深度学习训练获得， 采用 MobileNetV2、 MobileNetV3或ResNet等网络结构， 并不限定 于一种结构。说　明　书 1/5 页 3 CN 114287875 A 3