(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210318948.6 (22)申请日 2022.03.29 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 韩越兴　魏惠姗　王冰　陈侨川　 钱权　 (74)专利代理 机构 上海上大专利事务所(普通 合伙) 3120 5 专利代理师 何文欣 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/20(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多维特征融合的图注意力的材料图像 分割方法 (57)摘要 本发明公开了一种基于多维特征融合的图 注意力的材料图像 分割方法。 可以应用于材料学 领域的图像分割。 本方法首先对用于训练材料图 像进行预处理， 接着构建多维特征融合的图注意 力网络， 使用交叉熵损失优化网络的参数， 并利 用训练好的模 型对材料图像进行预测分割； 最后 保存输出的材料图像处理结果。 本发 明将多维特 征融合的图注 意力融入编解码网络之中， 提高网 络对材料图像的分割精度， 降低材料图像处理的 时间成本和人力成本， 促进相应学界和产界的进 步和发展。 权利要求书2页 说明书9页 附图3页 CN 114708431 A 2022.07.05 CN 114708431 A 1.一种基于多维特征融合的图注意力的材料图像分割方法， 其特征在于， 包括如下步 骤： (1)图像预处 理： 将用于训练的原 始图像和标注图分别调整为统一 规格， 将预处 理的图像保存在本地； (2)构建基于图注意力的网络模型： 将训练集数据输入网络， 使用交叉熵损 失优化网络的模型参数， 保存训练好的网络参 数文件； (3)进行图像预测分割： 载入训练好的模型参数文件， 将测试集数据输入 网络， 获取预测的分割结果， 分割结果 以二值化图表示； (4)保存输出图像处 理结果： 将测试集样本原图和分割结果图放在同一张图片中保存。 2.根据权利要求1所述基于多维特征融合的图注意力的材料图像分割方法， 其特征在 于， 在所述 步骤(1)中， 其图像预处 理包含以下步骤： (1‑1)将原始图像中描述材 料性能数据部分剪 裁去除； (1‑2)将图像统一调整为512 ×512像素； (1‑3)使用二 值化算法， 把所有标注图转 化为黑白图； (1‑4)划分并保存预处 理的图像数据。 3.根据权利要求1所述基于多维特征融合的图注意力的材料图像分割方法， 其特征在 于， 在所述步骤(2)中， 构建基于多维特征融合的图注意力模块， 采用图编码器将特征图构 建图结构； 采用图卷积和图注意力构建图注意力模块； 采用图解码器将图结构还原为特征 图， 所述图编码器的设计与构建包括如下步骤： (2‑1‑1)在编码器部分使用输出的特征图， 将特征图的维度大小从C ×H×W调整为C × HW； (2‑1‑2)将特征图划分为H ×W个节点， 每 个节点特 征维度为1 ×C； (2‑1‑3)每个节点采用四邻域的方式建立连接， 即每个中心节点与最近的上下左右四 个节点建立 边的连接； (2‑1‑4)通过图结构建立邻接矩阵， 描述节点之间的连接情况； (2‑1‑5)将建立的图结构以节点特 征和邻接矩阵的方式保存。 4.根据权利要求3所述基于多维特征融合的图注意力的材料图像分割方法， 其特征在 于， 所述图注意力模块融合图卷积和图注意力， 该模块的设计与构建包括如下步骤： (2‑2‑1)将节点特 征矩阵和邻接矩阵作为图注意力模块的输入； (2‑2‑2)采用一层图注意力对输入的节点特征(1 ×C)进行多头注意力关注， 学习注意 力权重输出更新后的节点特 征； (2‑2‑3)采用一层图卷积对输入的节点特征(1 ×C)进行局部聚合和特征降维， 该层节 点特征维度是输入的节点特 征维度减少至1/2 ×C； (2‑2‑4)采用一层图注意力对输入的节点特征(1/2 ×C)进行多头注意力关注， 学习注 意力权重输出更新后的节点特 征； (2‑2‑5)采用一层图卷积对输入的节点特征(1/2 ×C)进行局部聚合和特征降维， 该层权　利　要　求　书 1/2 页 2 CN 114708431 A 2节点特征维度是 上一层图卷积层输出的节点特 征维度减少至1/4 ×C； (2‑2‑6)采用一层图注意力对输入的节点特征(1/4 ×C)进行多头注意力关注， 学习注 意力权重输出更新后的节点特 征； (2‑2‑7)采用一层图卷积对输入的节点特征(1/4 ×C)进行局部聚合和特征升维， 该层 节点特征维度是 上一层图卷积层输出的节点特 征维度增 加至1/2×C； (2‑2‑8)采用加和的方式将节点特征维度大小为1/2 ×C的图注意力层输出和节点特征 维度大小为1/2 ×C的图卷积层升维操作的输出融合； (2‑2‑9)采用一层图卷积对输入的节点特征(1/2 ×C)进行局部聚合和特征升维， 该层 节点特征维度是 上一层图卷积层输出的节点特 征维度增 加至1×C； (2‑2‑10)采用加和的方式将节点特征维度大小为1 ×C的图注意力层输出和节点特征 维度大小为1 ×C的图卷积层升维操作的输出融合； (2‑2‑11)采用超参数a对不同分支的特 征按照自定义的比例进行融合。 5.根据权利要求3所述基于多维特征融合的图注意力的材料图像分割方法， 其特征在 于， 所述图解码器的设计包括如下步骤： (2‑3‑1)将图注意力模块的输出维度由C ×HW调整为C ×H×W； (2‑3‑2)调整维度大小后的节点特 征转化为解码器输入的特 征图。 6.根据权利要求4所述基于多维特征融合的图注意力的材料图像分割方法， 其特征在 于， 所述图注意力模块中的超参数a， 利用如下公式： 是图注意力层输出和图卷积层升维操作的输出的加和结果， Hl+1是第1+1层图卷积 的输出特征， α 是超参数， 是图注意力层的输出。 7.根据权利要求1所述基于多维特征融合的图注意力的材料图像分割方法， 其特征在 于， 在所述 步骤(2)中， 基于图注意力的网络模型训练包括以下步骤： (2‑4‑1)将训练集图像输入网络； (2‑4‑2)使用交叉熵损失优化网络模型参数； (2‑4‑3)保存训练好的网络参数文件。 8.根据权利要求1所述基于多维特征融合的图注意力的材料图像分割方法， 其特征在 于， 在所述 步骤(3)中， 材 料图像的预测包括以下步骤： (3‑1)载入训练好的模型参数文件； (3‑2)将图像数据输入网络， 获取 预测的分割结果； (3‑3)将测试集样本原图和概 率图放在同一张图片中保存在本地。权　利　要　求　书 2/2 页 3 CN 114708431 A 3