(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210604390.8 (22)申请日 2022.05.20 (71)申请人 天津理工大 学 地址 300384 天津市西青区 宾水西道391号 (72)发明人 杨延红　林帅　李丹阳　王佳佳　 王聪聪　吴庆波　 (74)专利代理 机构 杭州斯可 睿专利事务所有限 公司 33241 专利代理师 王利强 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06T 7/70(2017.01) G06V 10/40(2022.01) G06V 10/80(2022.01)G06V 10/26(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于UUnet的高分辨率透射电子显微镜下的 原子分割及定位方法 (57)摘要 本发明涉及一种基于UUnet的高分辨率透射 电子显微镜下的原子分割及定位技术。 该方法的 过程包括： S1:利用高分辨率透射电子显微镜生 成原子图片， 并将原始图像裁剪为N张子图像， 并 对每张子图像中的每个原子进行手动质心标定， 然后采用点扩散函数G， 将标定的原子坐标扩散 成圆， 并将标定后的结果图作为训练集用于原子 分割处理； S2： 采用基于Unet模型和基于Swin ‑ Unet模型的UU net自适应融合网络分割子图像中 的每个原子； S3： 采用霍夫曼圆检测对原子分割 结果图中的所有原子质心进行精确定位。 权利要求书1页 说明书4页 附图3页 CN 114882001 A 2022.08.09 CN 114882001 A 1.一种基于UUnet的高分辨率透射电子显微镜下的原子分割及定位方法， 其特征在于， 所述方法包括以下步骤： 步骤S1： 利用高分辨率透射电子显微镜生成原子图片， 并将原始图像裁剪为N张子图 像， 并对每张子图像中的每个原子进行手动质心标定， 然后采用点扩散函数G， 将标定的原 子坐标扩散成网， 并将标定后的结果图其作为训练集用于原子分割处 理； 步骤S2： 采用基于Unet模型和基于Swin ‑Unet模型的UUnet自适应融合网络分割子图像 中的每个原子； 步骤S3： 采用霍夫 曼圆检测对原子分割结果图中的所有原子质心进行精确定位。 2.如权利要求1所述的基于UUnet的高分辨率透射电子显微镜下的原子分割及定位方 法， 其特征在于， 所述 步骤S1中， 设计一种点扩散函数G生成原子训练数据集， 参照公式(1)： 其中Gij表示真值原子图像中像素点(i， j)的强度值， (xu， yr)表示子图像中的原子质心 坐标， 其中u＝{u1， u2， ......， un}， r＝{r1， r2， ......， rn}。 3.如权利要求或21所述的基于UUnet的高分辨率透射电子显微镜下的原子分割及定位 方法， 其特 征在于， 所述 步骤S2中， U Unet包括 三个模块： M1模块： 利用了Unet网络中的8层 卷积块， 首先对裁剪的子图像执行4次下采样操作， 每 一次下采样操作都会学习纹理、 边缘等特征信息， 然后执行4次上采样操作， 每次上采样操 作都会学习子图像中的全局信息， 当Unet网络执行完8层卷积块后， 原子图像的分辨率与 原 始图像相同， 即该层的特 征信息A； M2模块： 首先将裁剪 的每张子图像(M ×M×R)， 划分为多个小块 每个小块的尺寸 为(m×m×R)， 其中(M＞m)， 并为每个小块加上位置信息， 随后将 个小块重新排列为一 个大块 然后将大块输入到两个连续的transformer中学习纹理、 边缘等特征 信息， 最后利用了Swin ‑Unet网络中的3层编码块和3层解码块， 先通过3个编码块学习纹理、 边缘等特征信息， 再通过3个解码块学习全局信息， 当Swin ‑Unet网络执行完3次解码块后， 构建一个3 ×3×64的卷积层来调整此分辨率下图片的特征通道数， 将 输出结果作为全局信 息B； M3模块： 分别为Unet网络和Swin ‑Unet网络设计一层与图像分辨率大小相同的可学习 权重W1和W2， 并将A和B 在此层进行 特征融合， 得到 C： C＝W1*A+W2*B                        (2) 其中C为两个网络 融合的特征信息， 即包含原子的纹理边缘和全局信 息， ＊表示矩阵间 的点对点乘法运 算。权　利　要　求　书 1/1 页 2 CN 114882001 A 2基于UUnet的高分辨 率透射电子显微镜 下的原子分割及定位 方法 技术领域 [0001]本发明涉及一种基于UUnet的高分辨率透射电子显微镜下的原子分割及定位方 法， 属于计算机 视觉领域。 背景技术 [0002]晶体材料中的原子间距变化(应变、 晶界、 孪晶界)会对晶体材料的性能产生影响， 例如镍基高温合金是制造航空发动机和燃气 轮机等高温 高压部件的关键结构材料， 在工程 合金中引入更多的孪晶界可以显著提升合金 的寿命。 其中， 原子质心位置的精确定位是分 析原子间距变化的关键， 原子间距变化大小的分析 是解析原子结构的关键 。 [0003]然而原子质心定位是一件极具挑战的工作。 首先， 高分辨率透射电子显微镜原子 图像在拍摄过程中会受到各种噪声干扰。 其次， 目前用来记录高质量的原子尺度数据的方 法大多是利用人工标定来进行的， 原子质心的标注会受到原子结构本身 所需具备的专业知 识限制， 即便是此领域的专家 也会出现标注出错的情况。 不仅如此， 高昂的时间成本消耗会 影响利用原子质心 解析其结构的效率， 这些 因素使得于工标注不切实际。 近几年， 人们对可 靠的材料原子尺度成像取得重大进展， 其主要原因是由于扫描电子显微镜和高分辨率透射 电子显微镜成像技术的广泛应用。 除此之外， 图像处理与 识别技术得到突 飞猛进的发展， 涉 及到计算机科学、 信息科学等方面， 同时也广泛应用于目标追踪、 材料分析等领域。 在材料 分析领域中， 采用深度学习框架的分割算法则可以通过少量的训练数据集来达到精确的原 子分割效果， 然后对分割结果定位原子质心， 则可以实现自动化定位原子质心的功能， 具有 高效性和鲁棒性。 不仅如此， 对自动化定位的原子质心进行间距变化的颜色展示也能方便 专业人士快速分析原子结构的状态。 因此本发明在计算机 视觉领域有重要意 义。 发明内容 [0004]为了克服现有技术 的不足， 本发明提供一种基于UUnet的高分辨率透射电子显微 镜下的原子 分割及定位方法， 解决依靠人工标定来对高分辨率透射电子显微镜原子图像中 原子质心定位效率低的问题， 具有较好的实用性、 鲁棒 性。 [0005]为了解决上述 技术问题本发明提供如下的技 术方案： [0006]一种基于UUnet的高分辨率透射电子显微镜下的原子分割及定位方法， 包括以下 步骤： [0007]步骤S1： 利用高分辨率透射电子显微镜生成原子图片， 并将原始图像裁剪为N张子 图像， 并对每张子图像中的每个原子进行手动质心标定， 然后采用点扩散函数G， 将标定的 原子坐标扩散成圆， 并将标定后的结果图其作为训练集用于原子分割处 理； [0008]步骤S2： 采用基于Unet模型和基于Swin ‑Unet模型的UUnet自适应融合网络分割子 图像中的每 个原子； [0009]步骤S3： 采用霍夫 曼网检测对原子分割结果图中的所有原子质心进行精确定位。说　明　书 1/4 页 3 CN 114882001 A 3