(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658435.1 (22)申请日 2021.12.3 0 (71)申请人 上海商汤智能科技有限公司 地址 200233 上海市徐汇区桂平路391号3 号楼1605A室 (72)发明人 胡敏浩　宋涛　冯世祥　张少霆　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 代理人 李申 (51)Int.Cl. G06T 7/11(2017.01) G06T 5/50(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理模 型训练方法及相关装置、 设备和 存储介质 (57)摘要 本申请公开了一种图像处理模型训练方法 及相关装置、 设备和存储介质， 方法包括： 利用第 一图像处理模 型对第一样本图像进行目标分割， 得到第一预测掩膜图像； 基于目标角度， 将第一 预测掩膜 图像和第一样本图像的样本掩膜 图像 分别投影至相同图像坐标轴， 得到第一预测掩膜 图像的第一像素分布情况和样本掩膜 图像的样 本像素分布情况； 基于第一像素分布情况和第二 像素分布情况， 得到第一差异； 基于第一差异， 调 整第一图像处理模型的网络参数。 通过该方法， 可以提高模型的训练效果。 权利要求书3页 说明书20页 附图6页 CN 114332126 A 2022.04.12 CN 114332126 A 1.一种图像处 理模型训练方法， 其特 征在于， 包括： 利用第一图像处 理模型对第一样本图像进行目标分割， 得到第一预测掩膜图像； 基于目标角度， 将所述第 一预测掩膜图像和所述第 一样本图像的样本掩膜图像分别投 影至相同图像坐标轴， 得到所述第一预测掩膜图像的第一像素分布情况和所述样本掩膜图 像的样本像素分布情况； 基于所述第一像素分布情况和所述第二像素分布情况， 得到第一差异； 基于所述第一差异， 调整所述第一图像处 理模型的网络参数。 2.根据权利要求1所述的方法， 其特征在于， 所述目标角度为投影方向与所述图像坐标 轴之间的夹角， 所述第一像素分布或所述样本像素分布的获取步骤， 包括： 从掩膜图像 中， 获取若干组像素点集； 其中， 连接同组所述像素点集中各像素点的直线 与所述投影方向平行； 基于各组所述像素点 集的像素统计值， 得到所述掩膜图像的像素分布情况； 其中， 在所述掩膜图像为所述第一预测掩膜图像的情况下， 所述像素分布情况为所述 第一像素分布情况， 在所述掩膜图像为所述样本掩膜图像的情况下， 所述像素分布情况为 所述样本像素分布情况。 3.根据权利要求2所述的方法， 其特征在于， 所述像素统计值包括以下任一者： 最大值、 平均值、 最小值； 和/或， 所述第一样本图像为包括目标组织的医学图像； 和/或， 所述像素分布情况以向量形式表示， 所述基于各组所述像素点集的像素统计 值， 得到所述掩膜图像的像素分布情况， 包括： 获取各组所述像素点 集分别对应的所述 直线与所述图像坐标轴的交点； 基于所述交点在所述图像坐标轴上的坐标值， 将各组所述像素点集的像素统计值进行 排列， 得到所述掩膜图像的分布特 征向量。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述第一样本图像 中包含若干目 标对象， 且所述第一图像处理模型预测得到各个所述 目标对象的第一预测掩膜图像， 所述 第一样本图像对应标注有各个所述目标对象的样本掩膜图像； 所述基于目标角度， 将所述第 一预测掩膜图像和所述第 一样本图像的样本掩膜图像分 别投影至相同图像坐标轴， 得到所述第一预测掩膜图像的第一像素分布情况和所述样本掩 膜图像的样本像素分布情况， 包括： 对于各个所述目标对象， 将所述目标对象的第 一预测掩膜图像和所述目标对象的样本 掩膜图像， 分别朝所述 目标角度 投影至所述相同图像坐标轴， 得到所述 目标对象分别对应 的所述第一像素分布情况和所述样本像素分布情况； 所述基于所述第一像素分布情况和所述第二像素分布情况， 得到第一差异， 包括： 对于各个所述目标对象， 基于所述目标对象分别对应的所述第 一像素分布情况和所述 样本像素分布情况之间的差异， 得到所述目标对象对应的子 差异； 融合所述若干目标对象分别对应的子 差异， 得到所述第一差异。 5.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述目标角度 是在若干预设角度 中选择得到的， 在所述基于所述第一差异， 调整 所述第一图像处理模 型的网络参数之前， 所 述方法还 包括： 响应于存在未被选择的预设角度， 选择一个未被选择的预设角度作为 新的目标角度；权　利　要　求　书 1/3 页 2 CN 114332126 A 2重复执行所述基于目标角度， 将所述第 一预测掩膜图像和所述第 一样本图像的样本掩 膜图像分别投影至相同图像坐标轴， 得到所述第一预测掩膜图像的第一像素分布情况和所 述样本掩膜图像的样本像素分布情况的步骤以及后续步骤， 以获取各个所述预设角度分别 对应的第一差异； 所述基于所述第一差异， 调整所述第一图像处 理模型的网络参数， 包括： 融合各个所述预设角度分别对应的第一差异， 得到第二差异； 基于所述第二差异， 调整所述第一图像处 理模型的网络参数。 6.一种图像处 理模型训练方法， 其特 征在于， 包括： 利用第一图像处 理模型对第一样本图像进行目标分割， 得到第一预测掩膜图像； 利用第二图像处理模型对第 一样本图像的增强样本图像进行目标分割， 得到第 二预测 掩膜图像； 其中， 所述第二图像处理模型 的网络参数基于所述第一图像处理模型 的网络参 数设置， 所述增强样本图像包括以下任一者： 所述第一样 本图像自身、 所述第一样本图像经 增强处理后的第二样本图像； 基于目标角度， 将所述第 一预测掩膜图像和所述第 二预测掩膜图像分别投影至相同图 像坐标轴， 得到第一预测掩膜图像的第一像素分布情况和所述第二预测掩膜图像的第二像 素分布情况； 基于所述第一像素分布情况和所述第二像素分布情况， 得到第一差异； 基于所述第一差异， 调整所述第一图像处 理模型的网络参数。 7.根据权利要求6所述的方法， 其特 征在于， 所述方法还 包括： 获取第二样本 图像和样本相关图像， 其中， 所述第二样本 图像标注有目标对象的样本 轮廓， 所述样本相关图像包括所述第二样本图像中的第二像素点综合若干参考维度后与所 述样本轮廓的样本相关度， 利用第一图像处理模型对第 二样本图像进行预测， 得到预测相关图像； 其中， 所述预测 相关图像包括所述第二样本图像的第二像素点经 预测与所述样本轮廓的预测相关度； 基于所述样本相关图像与所述预测相关图像， 获取第二差异； 所述基于所述第 一差异， 调整所述第 一图像处理模型的网络参数， 包括： 基于所述第一 差异和第二差异， 调整所述第一图像处 理模型的网络参数； 在所述基于所述第一差异和第二差异， 调整所述第一图像处理模型的网络参数之后， 所述方法还包括： 基于所述第一图像处理模型在当前轮调整后的网络参数和所述第二图像 处理模型在所述当前轮时的网络参数， 得到所述第二图像处理模型在所述当前轮的下一轮 时的网络参数。 8.根据权利要求7所述的方法， 其特征在于， 所述若干参考维度包括像素差异、 像素距 离中至少一 者； 所述样本相关图像的获取步骤， 包括： 基于所述第 一像素点分别与 所述样本轮廓上各个像素点之间的距离， 选择一个所述像 素点作为所述第一像素点的参 考像素点； 基于所述第一像素点与所述参考像素点之间的像素距离和/或像素差异， 得到所述第 一像素点与所述样本轮廓的样本相关度； 基于各个所述第一像素点的样本相关度， 得到所述样本相关图像。 9.一种模型训练装置， 其特 征在于， 包括：权　利　要　求　书 2/3 页 3 CN 114332126 A 3