(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211053619.X (22)申请日 2022.08.30 (71)申请人 白建豪 地址 032299 山西省吕梁市汾阳市贾家庄 镇罗子城村冯宅街 (72)发明人 白建豪　晚忠琪　彭清　 (74)专利代理 机构 北京盛询知识产权代理有限 公司 11901 专利代理师 郭成文 (51)Int.Cl. G06T 5/50(2006.01) G06T 7/33(2017.01) G06T 7/10(2017.01) G06T 5/40(2006.01) G06T 5/10(2006.01)G06T 5/00(2006.01) G06V 10/46(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) (54)发明名称 一种多模态眼底图像配准和融合方法及系 统 (57)摘要 本发明公开一种多模态眼底图像配准和融 合方法及系统， 包括： 获取眼底图像集； 对眼底图 像集进行预处理， 得到处理眼底图像集； 对处理 眼底图像集的大血管进行分割， 得到大血管特 征； 对大血管特征进行特征标记； 对特征标记进 行配准和融合， 得到眼底图像融合结果。 有效地 融合了源图像与待配准图像， 呈现了更加自然的 融合图像且有效提高了融合图像的信噪比； 将同 种检测模式的不同厂家、 规格、 型号的机器所得 的同模式影像进行兼容， 可用于对比不同设备的 优劣， 具有显著的现实意 义。 权利要求书2页 说明书8页 附图4页 CN 115393239 A 2022.11.25 CN 115393239 A 1.一种多模态眼底图像 配准和融合方法， 其特 征在于， 包括以下步骤： 获取眼底图像集； 对所述眼底图像集进行 预处理， 得到处 理眼底图像集； 对所述处 理眼底图像集的大 血管进行分割， 得到大 血管特征； 对所述大 血管特征进行特征标记； 对所述特 征标记进行配准和融合， 得到眼底图像融合结果。 2.根据权利要求1所述的多模态眼底图像配准和融合方法， 其特征在于， 所述眼底图像 集包括同一眼睛不同模态的眼底图像和相同模态不同检测时间点的眼底图像。 3.根据权利要求1所述的多模态眼底图像配准和融合方法， 其特征在于， 所述预处理包 括滤波和 增强。 4.根据权利要求1所述的多模态眼底图像配准和融合方法， 其特征在于， 采用改进的 DNNS血管分割网络和像素 取反法对所述处 理眼底图像集的大 血管进行分割。 5.根据权利要求1所述的多模态眼底图像配准和融合方法， 其特征在于， 采用SIFT方法 和D2net‑Reject方法对所述特 征标记进行配准和融合。 6.根据权利要求5所述的多模态眼底图像配准和融合方法， 其特征在于， 所述SIFT方法 包括： 检测所述特 征标记， 得到特 征点； 基于所述特 征点， 建立特 征点描述子； 根据所述特 征点描述子的相似程度匹配所述特 征标记， 得到匹配结果； 对所述匹配结果的误匹配点对进行剔除， 并基于剔除所述误匹配点对后的所述匹配结 果构建变换矩阵； 采用所述变换矩阵对待配准眼底图像进行空间变换， 基于空间变换后的所述待配准眼 底图像和源眼底图像， 采用双线性插值法， 得到眼底图像融合结果。 7.根据权利要求5所述的多模态眼底图像配准和融合方法， 其特征在于， 所述D2net ‑ Reject方法包括： 采用D2net特 征提取网络提取 所述特征标记， 得到特 征点和特 征描述符； 基于所述特 征点和所述特 征描述符， 采用最近邻匹配法， 得到匹配对； 采用平均距离匹配对粗筛 选法对所述匹配对进行匹配对粗筛 选； 采用Reject匹配对筛 选网络剔除误匹配点对， 结合变换模型， 得到最终匹配点对； 基于所述最终匹配点对计算模型参数矩阵， 结合透视变换模型， 得到待配准图像和源 图像的坐标映射关系； 基于所述 坐标映射关系， 采用双线性插值法， 得到变换图像； 将所述变换图像与所述源图像进行融合， 得到眼底图像融合结果。 8.根据权利要求1所述的多模态眼底图像配准和融合方法， 其特征在于， 所述大血管特 征包括血 管形态、 走行特征以及血 管交叉点 位。 9.一种多模态眼底图像配准和融合系统， 其特征在于， 包括： 获取模块、 预处理模块、 分 割模块、 特 征标记模块、 配准融合模块； 所述获取模块用于获取眼底图像集； 所述预处 理模块用于对所述眼底图像集进行 预处理， 得到处 理眼底图像集；权　利　要　求　书 1/2 页 2 CN 115393239 A 2所述分割模块用于对所述处 理眼底图像集的大 血管进行分割， 得到大 血管特征； 所述特征标记模块用于对所述大 血管特征进行特征标记； 所述配准融合模块用于对所述特 征标记进行配准和融合， 得到眼底图像融合结果。权　利　要　求　书 2/2 页 3 CN 115393239 A 3