(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210935448.7 (22)申请日 2022.08.05 (65)同一申请的已公布的文献号 申请公布号 CN 115063504 A (43)申请公布日 2022.09.16 (73)专利权人 全景恒升 （北京） 科 学技术有限公 司 地址 101300 北京市顺 义区仁和镇 顺西南 路8号院1号楼一层A区 (72)发明人 王钊　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 姚大雷 (51)Int.Cl. G06T 11/00(2006.01)G06T 15/00(2011.01) G06V 40/10(2022.01) G06V 10/40(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) (56)对比文件 CN 108962381 A,2018.12.07 CN 108962381 A,2018.12.07 CN 113223002 A,2021.08.0 6 WO 2019237191 A1,2019.12.19 CN 113096056 A,2021.07.09 CN 109091 167 A,2018.12.28 审查员 周晓童 (54)发明名称 动脉粥样化斑块识别方法、 装置、 计算机设 备及存储介质 (57)摘要 本发明公开了一种动脉粥样化斑块识别方 法、 装置、 计算机设备及存储介质， 方法中， 获取 原始光谱信号和对应的光学相干断层图像， 并将 光学相干断层图像作为待识别图像； 接着， 将待 识别图像输入至动脉粥样化斑块定位模块， 得到 斑块所在区域； 基于斑块所在区域， 确定光学相 干断层图像和原始光谱信号对应的动脉粥样化 斑块光学图像/光谱信号； 分别对动脉粥样化斑 块光学图像和动脉粥样化斑块光谱信号进行特 征提取， 得到对应的特征图； 将两张特征图融合， 得到融合特征图； 利用识别模块， 确定融合特征 图中斑块类型； 基于所在区域， 显示待识别图像 中每种斑块。 因本发明采用光谱信号和光学相干 断层图像对应的特征信息进行识别， 使得斑块识 别精度得以提高。 权利要求书8页 说明书19页 附图12页 CN 115063504 B 2022.11.18 CN 115063504 B 1.一种动脉粥样化斑块识别方法， 其特 征在于， 包括： 获取血管的原始光谱信号和所述原始光谱信号对应的光学相干断层图像， 并将所述光 学相干断层图像作为待识别图像； 将所述待识别图像输入至预设的动脉粥样化斑块定位模块， 得到动脉粥样化斑块所在 区域， 其中， 所述动脉粥样化斑块定位模块包括定位网络和N层编码 ‑解码子模块； 基于所述区域， 确定所述光学相干断层图像中的动脉粥样化斑块光学图像， 及确定所 述原始光谱信号对应的动脉粥样化斑块 光谱信号； 分别对所述动脉粥样化斑块光学图像和所述动脉粥样化斑块光谱信号进行特征提取， 得到光学图像特 征图和光谱信号特 征图； 将所述光学图像特 征图和所述 光谱信号特 征图进行融合， 得到融合特 征图； 利用预设的识别模块， 确定所述融合特 征图中动脉粥样化斑块的所有类型； 基于所述所在区域， 显示第 一待识别图像或第 二待识别图像中每种类型的动脉粥样化 斑块； 所述获取血管的原始光谱信号和所述原始光谱信号对应的光学相干断层图像， 并将所 述光学相干断层图像作为待识别图像， 包括： 获取血管内超声图像、 血管的原始光谱信号及所述原始光谱信号对应的光学相干断层 图像， 其中， 所述血 管内超声图像与所述 光学相干断层图像对应同一血 管断层； 将所述光学相干断层图像和所述血管内超声图像中的其中一种图像作为第一待识别 图像， 另一种图像作为第二待识别图像； 所述将所述待识别图像输入至预设的动脉粥样化斑块定位模块， 得到动脉粥样化斑块 所在区域， 包括： 对所述第一待识别图像和所述第二待识别图像分别进行卷积运算以得到第一卷积结 果和第二卷积结果， 并将所述第一卷积结果和所述第二卷积结果中的其中一种作为第 1层 编码‑解码子模块的编码特 征图， 另一种作为第1层编码 ‑解码子模块的编码参 考特征图； 针对第2至N ‑1层所述编码 ‑解码子模块， 依次对每层所述编码 ‑解码子模块的上一层编 码‑解码子模块的编码特征图和编码参考特征图分别进行下采样和卷积运算， 得到每层所 述编码‑解码子模块的编码特 征图和编码参 考特征图； 对第N‑1层所述编码 ‑解码子模块的编码特征图和编码参考特征图分别进行下采样， 得 到第N层所述编码 ‑解码子模块的编码特 征图和编码参 考特征图； 将第N层所述编码 ‑解码子模块的编码特征图和编码参考特征图融合以得到第一融合 结果， 并对所述第一融合结果进行卷积运算和上采样， 得到第N ‑1层所述编码 ‑解码子模块 的解码结果； 针对第1至N ‑1层所述编码 ‑解码子模块， 对每层所述编码 ‑解码子模块的编码特征图进 行编码， 得到对应的编码结果； 针对第N‑1至2层所述编码 ‑解码子模块， 依次将每层所述编码 ‑解码子模块的编码结果 与解码结果融合以得到第二融合结果， 并对所述第二融合结果进行卷积运算和上采样， 得 到每层所述编码 ‑解码子模块的上一层所述编码 ‑解码子模块的解码结果； 将第1层所述编码 ‑解码子模块的编码结果与解码结果融合， 得到第1层所述编码 ‑解码 子模块的第二融合结果；权　利　要　求　书 1/8 页 2 CN 115063504 B 2将所述第1层所述编码 ‑解码子模块的第二融合结果输入至所述定位网络， 得到动脉粥 样化斑块所在区域。 2.根据权利要求1所述的动脉粥样化斑块识别方法， 其特 征在于， 还 包括： 获取血管的原始超声信号， 其中， 所述原 始超声信号与所述血 管内超声图像对应； 所述将所述光学图像特征图和所述光谱信号特征图进行融合， 得到融合特征图之前， 所述方法还 包括： 基于所述区域， 确定所述血管内超声图中的动脉粥样化斑块超声图像， 及确定所述原 始超声信号对应的动脉粥样化斑块超声信号； 分别对所述动脉粥样化斑块超声图像和所述动脉粥样化斑块超声信号进行特征提取， 得到超声图像特 征图和超声信号特 征图； 所述将所述 光学图像特 征图和所述 光谱信号特 征图进行融合， 得到融合特 征图， 包括： 将所述光学图像特征图、 所述光谱信号特征图、 所述超声图像特征图及所述超声信号 特征图进行融合， 得到融合特 征图。 3.根据权利要求1所述的动脉粥样化斑块识别方法， 其特征在于， 第1至N ‑1层所述编 码‑解码子模块中， 每层所述编码 ‑解码子模块的第二融合结果由对每层所述编码 ‑解码子 模块的编码参考特征和编码特征图中的其中一个， 与每层所述编码 ‑解码子模块的编码结 果和解码结果进行融合得到 。 4.根据权利要求1所述的动脉粥样化斑块识别方法， 其特征在于， 所述编码 ‑解码子模 块包括Transformer编码层； 所述针对第1至N ‑1层所述编码 ‑解码子模块， 对每层所述编码 ‑解码子模块的编码特征 图进行编码， 得到对应的编码结果， 包括： 针对第1至N ‑1层所述编码 ‑解码子模块， 对每层所述编码 ‑解码子模块的编码特征图进 行扁平化处 理， 得到扁平化特 征图； 根据所述扁平化特征图中每个像素的位置， 对第1至N ‑1层中每层所述编码 ‑解码子模 块的扁平化特征图进行线性投影， 得到第1至N ‑1层中每层所述编码 ‑解码子模块的位置投 影特征图； 将所述位置投影特征图输入至第1至N ‑1层中每层所述编码 ‑解码子模块的 Transformer编码层， 得到第1至N ‑1层中每层编码 ‑解码子模块的编码信息； 根据所述扁平化特征图中每个像素的位置， 对第1至N ‑1层中每层编码 ‑解码子模块的 编码信息进行还原， 得到第1至N ‑1层中每层编码 ‑解码子模块的编码结果。 5.根据权利要求1所述的动脉粥样化斑块识别方法， 其特征在于， 所述识别模块包括密 集连接的卷积网络和全连接层； 所述利用预设的识别模块， 确定所述融合特 征图中动脉粥样化斑块的所有类型， 包括： 将所述融合特 征图输入至所述密集连接的卷积网络， 得到对应的输出 结果； 基于所述全连接层， 计算所述输出 结果对应的分类输出； 根据所述分类输出， 确定所述融合特 征图中动脉粥样化斑块的所有类型。 6.根据权利要求1所述的动脉粥样化斑块识别方法， 其特征在于， 所述动脉粥样化斑块 的类型包括： 纤维斑块、 钙化斑块、 脂质斑块、 钙化结节、 斑块破裂、 斑块侵 蚀、 纤维帽、 血栓、 内膜增生、 支 架内新生内膜、 愈合斑块、 胆固醇结晶、 巨噬细胞、 微 通道及其 他组织。权　利　要　求　书 2/8 页 3 CN 115063504 B 3