(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210403181.7 (22)申请日 2022.04.18 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518000 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 刘文龙　高斌斌　赖锦祥　 (74)专利代理 机构 深圳市联鼎知识产权代理有 限公司 4 4232 专利代理师 陈涛 (51)Int.Cl. G06T 7/00(2017.01) G06V 20/70(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/77(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图片的变化检测方法及相关装置 (57)摘要 本申请的实施例提供了一种图片的变化检 测方法及相关装置， 该方法包括： 对第一图片和 第二图片分别进行特征提取， 得到多层级的特征 对； 针对每一层级的特征对， 分别对特征对中的 第一特征和第二特征进行卷积操作， 得到第一注 意力矩阵组合和第二注意力矩阵组合， 并根据各 层级的特征对所对应的第一注意力矩 阵组合和 第二注意力矩 阵组合构建特征对所对应的时空 特征组合； 对 各层级的时空特征 组合分别进行融 合操作， 得到多层级的融合特征； 对多层级的融 合特征分别进行 降采样操作和升采样操作得到 变化图。 本申请实施例在保证高精度的同时， 减 少了算法的计算量， 提高了推理效率。 本申请实 施例可应用于云技术、 人工智能、 智慧交通、 辅助 驾驶等各种场景。 权利要求书2页 说明书19页 附图16页 CN 115131284 A 2022.09.30 CN 115131284 A 1.一种图片的变化检测方法， 其特 征在于， 所述方法包括： 对第一图片和第二图片分别进行特征提取， 得到多层级的特征对， 所述特征对包括从 所述第一图片中提取 出的第一特 征和从所述第二图片中提取 出的第二特 征； 针对每一层级的特征对， 分别对所述特征对中的第一特征和第二特征进行卷积操作， 得到所述第一特征对应的第一注意力矩阵组合和所述第二特征对应的第二注意力矩阵组 合， 并根据各层级的特征对所对应的所述第一注 意力矩阵组合和所述第二注意力矩阵组合 构建所述特征对所对应的时空特征组合， 所述时空特征组合包括与所述第一注意力矩阵组 合对应的第一时空特 征和与所述第二注意力矩阵组合对应的第二时空特 征； 对各层级的特征对所对应的所述 时空特征组合分别进行融合操作， 得到多层级的融合 特征； 对所述多层级的融合特征进行降采样操作得到降采样结果， 并对所述降采样结果进行 升采样操作得到变化图。 2.根据权利要求1所述的图片的变化检测方法， 其特征在于， 所述对各层级的特征对所 对应的所述时空特 征组合分别进行融合操作， 得到多层级的融合特 征， 包括： 针对每一层级的特征对所对应的时空特征组合， 对所述 时空特征组合分别进行两次卷 积操作， 分别得到第三注意力矩阵组合和第四注 意力矩阵组合， 其中， 所述第三注意力矩阵 组合和所述第四注意力矩阵组合均包括多种注意力矩阵， 所述第三注意力矩阵组合和所述 第四注意力矩阵组合中的同种注意力矩阵是对所述时空特征组合中不同的时空特征分别 进行卷积操作得到的； 根据各时空特征组合对应的所述第三注意力矩阵组合构建各层级的特征对所对应的 第一跨交互特征， 并根据各时空特征组合对应的所述第四注意力矩阵组合构建各层级的特 征对所对应的第二 跨交互特征； 确定各层级的特征对所对应的所述第一跨交互特征和所述第二跨交互特征之间的语 义变化信息， 并将各层级的特 征对所对应的所述语义变化信息作为各层级的融合特 征。 3.根据权利要求1所述的图片的变化检测方法， 其特征在于， 所述变化图是通过变化检 测模型的主分支生成的， 所述变化检测模型还包括用于辅助训练所述主分支的辅助分支， 所述变化检测模型是通过在所述辅助分支生成多层级的仿射图进 行训练的， 所述多层级的 仿射图中目标层级的仿射图是通过如下 过程生成的： 分别对目标层级的特征对中的第 一特征和第 二特征进行嵌入操作， 得到第 一特征嵌入 结果和第二特征嵌入结果， 并根据所述第一特征嵌入结果和所述第二特征嵌入结果生成通 道相关性矩阵； 通过掩膜对所述 通道相关性矩阵中部分元 素进行屏蔽， 得到屏蔽后矩阵； 提取所述屏蔽后矩阵中每一行的最大值， 得到第一 最大相似图； 提取所述屏蔽后矩阵中每一列的最大值， 得到第二 最大相似图； 对所述第一 最大相似图和所述第二 最大相似图进行融合， 得到目标层级的仿射图。 4.根据权利要求3所述的图片的变化检测方法， 其特征在于， 所述对所述第 一最大相似 图和所述第二 最大相似图进行融合， 得到目标层级的仿射图， 包括： 提取所述第 一最大相似图和所述第 二最大相似图中位于每一位置处 的元素的最大值， 作为目标最大相似图中相应位置处的元 素的值， 以得到目标最大相似图；权　利　要　求　书 1/2 页 2 CN 115131284 A 2对所述目标最大相似图进行修 正操作， 得到目标层级的仿射图。 5.根据权利要求4所述的图片的变化检测方法， 其特征在于， 所述对所述目标最大相似 图进行修 正操作， 得到目标层级的仿射图， 包括： 对所述目标最大相似图中的元 素进行映射操作， 得到映射图； 对所述映射图进行尺寸调整操作， 得到目标层级的仿射图。 6.根据权利要求3所述的图片的变化检测方法， 其特征在于， 所述变化检测模型是根据 损失函数训练得到的， 所述损失函数包括与所述主分支对应的主分支损失和与所述辅助分 支对应的辅助分支损失， 所述主分支损失包括交叉熵损失和戴斯损失。 7.根据权利要求1所述的图片的变化检测方法， 其特征在于， 所述对第 一图片和第 二图 片分别进行 特征提取， 得到多层级的特 征对， 包括： 对第一图片和第二图片分别进行 特征提取， 得到预定数目个层级的特 征对； 将所述预定数目个层级的特征对中指定层级的特征对剔除， 得到多层级的特征对， 其 中， 所述指定层级低于所述多层级的特 征对所对应的层级。 8.根据权利要求1 ‑7任意一项所述的图片的变化检测方法， 其特征在于， 所述分别对所 述特征对中的第一特征和 第二特征进 行卷积操作， 得到所述第一特征对应的第一注意力矩 阵组合和所述第二特 征对应的第二注意力矩阵组合， 包括： 分别对所述特征对中的第 一特征进行多组卷积操作， 得到所述第 一特征对应的多个第 一注意力矩阵组合； 分别对所述特征对中的第 二特征进行多组卷积操作， 得到所述第 二特征对应的多个第 二注意力矩阵组合。 9.根据权利要求1 ‑7任意一项所述的图片的变化检测方法， 所述对第一图片和第二图 片分别进行 特征提取， 得到多层级的特 征对， 包括： 对第一图片和第二图片分别进行 特征提取， 得到多层级的原 始特征对； 对各层级的原始特征对中的第 一原始特征和第 二原始特征分别 叠加位置编码特征， 得 到多层级的特 征对。 10.一种图片的变化检测装置， 其特 征在于， 所述装置包括： 特征提取单元， 用于对第 一图片和第 二图片分别进行特征提取， 得到多层级的特征对， 所述特征对包括从所述第一图片中提取出的第一特征和从所述第二图片中提取出的第二 特征； 时空特征构建单元， 用于针对每一层级的特征对， 分别对所述特征对中的第一特征和 第二特征进行卷积操作， 得到所述第一特征对应的第一注意力矩阵组合和所述第二特征对 应的第二注意力矩阵组合， 并根据各层级的特征对所对应的所述第一注意力矩阵组合和所 述第二注意力矩阵组合构建所述特征对所对应的时空特征组合， 所述时空特征组合包括与 所述第一注意力矩阵组合对应的第一时空特征和与所述第二注意力矩阵组合对应的第二 时空特征； 融合单元， 用于对各层级的特征对所对应的所述时空特征组合分别进行融合操作， 得 到多层级的融合特 征； 采样单元， 用于对所述多层级的融合特征进行降采样操作得到降采样结果， 并对所述 降采样结果进行升采样 操作得到变化图。权　利　要　求　书 2/2 页 3 CN 115131284 A 3