(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210426917.2 (22)申请日 2022.04.21 (71)申请人 河钢数字技 术股份有限公司 地址 050000 河北省石家庄市高新区黄河 大道136号科技中心1号楼 申请人 山东大学　 青岛海尔智能技 术研发有限公司 (72)发明人 申培　聂礼强　郝亮　甘甜　 李玉涛　李华刚　冯兴　赵立智　 (74)专利代理 机构 石家庄知住优创知识产权代 理事务所(普通 合伙) 13131 专利代理师 王丽巧 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于小目标数据增强和多视角协同推理的 废钢分类方法 (57)摘要 本发明公开了一种基于小目标数据增强和 多视角协同推理的废钢分类方法， 涉及金属回收 技术领域。 包括以下步骤： 建立多视角废钢图片 数据集、 针对大分辨率图像设计剪裁策略、 生成 特征图、 提取不同视角废钢图片之间的一致性与 互补性特征信息、 实现小型废钢的分类、 检测和 分割和对输入 图片进行预测， 获取分类、 检测和 分割结果。 针对大分辨率图像设计剪裁策略， 通 过对输入图片进行裁剪操作来进行图像增强， 提 高了小型废钢在每张图片中的面积占比， 以助于 提取到足够的特征进行识别， 能够提升对小型废 钢的检测率和分类准确率。 权利要求书3页 说明书8页 附图2页 CN 114821256 A 2022.07.29 CN 114821256 A 1.一种基于小目标数据增强和多视角协同推理的废钢分类方法， 其特征在于： 包括以 下步骤： S1： 建立多视角废钢图片数据集， 存 储同一时刻的多视角废钢图片； S2： 针对大分辨 率图像设计剪 裁策略， 对输入图片进行裁 剪并进行图像的增强； S3： 使用预训练好的ResNet5 0提取废钢图片特 征， 生成特 征图； S4： 将S3生成的特征图输入多视角协同网络， 提取不同视角废钢图片之间的一致性与 互补性特 征信息； S5： 将S4提取出的一致性与互补性信息进行加权， 与原始特征图进行融合， 形成新特征 图， 利用该一 致性与互补性信息进行分类； S6： 结合S5中的新特征图， 输入 RPN网络后进行RoiAlign操作， 输入Mask ‑Rcnn head,实 现小型废钢的分类、 检测 和分割； S7： 对输入图片进行 预测， 获取分类、 检测 和分割结果。 2.根据权利要求1所述的基于小目标数据增强和多视角协同推理的废钢分类方法， 其 特征在于： 所述 步骤S4具体包括： S41： 将多视角特 征图分为 一个主视角特 征图m与两个辅助视角特 征图a1和a2； S42： 将两个辅助视角特 征图a1和a2进行拼接， 形成辅助视角特 征图a； S43： 将S42中的主视角特征图m与辅助视角特征图a进行拼接， 经过一个全连接层后输 入softmax函数， 得到对应主视角特 征图每个维度的关联分数向量， 公式表示如下： sm＝softmax(Wh·[m， a]) S44： 将S42中的辅助视角特征图a与主视角特征图m进行拼接， 经过一个全连接层后输 入softmax函数， 得到对应辅助视角特 征图每个维度的关联分数向量， 公式表示如下： sa＝softmax(Wa·[a， m]) S45： 使用步骤S43和 S44中的关联分数向量， 可以将不同视角的一致性和互补性特征进 行区分， 并采用了一个sigmo id函数使它 们连续， 公式如下： S46： 通过S45中的4个权重向量与主视角特征图和辅助视角特征图m和a求 内积， 得到主 视角特征图和辅助视角特 征图中的一 致性和互补性信息， 公式如下： S47： 将一致主向量vm与一致辅助向量νa进行拼接， 输入一个神经 网络和一个激活函数， 获得增强后的一 致向量信息， 公式如下： S48： 计算KL的散度损失， 公式如下：权　利　要　求　书 1/3 页 2 CN 114821256 A 2po＝softmax(Uo·vo) 其中， po是废钢类别的可能性分布， Uo是可训练的权 重矩阵。 3.根据权利要求2所述的基于小目标数据增强和多视角协同推理的废钢分类方法， 其 特征在于： 所述 步骤S1具体包括： S11： 定义该场景 下所可能包含的所有废钢类别； S12： 对废钢图片进行命名， 从命名中可以确定属于同一时刻的不同视角图片； S13： 使用label Img软件对废钢图片进行分割标注， 得到储 存标签的标注文件。 4.根据权利要求3所述的基于小目标数据增强和多视角协同推理的废钢分类方法， 其 特征在于： 所述 步骤S2具体包括： S21： 对数据集进行 数据增强， 将图片进行裁 剪， 提出了几种裁 剪策略； S22： 无规则滑动窗口切图策略。 5.根据权利要求4所述的基于小目标数据增强和多视角协同推理的废钢分类方法， 其 特征在于： 所述 步骤S3具体包括： S31： 使用在数据集ImageNet上预训练好的Resnet50模型作为废钢图片特征提取的原 始模型； S32： 将废钢图片输入Resnet5 0模型， 进行 特征提取， 获取模型输出的特 征图。 6.根据权利要求5所述的基于小目标数据增强和多视角协同推理的废钢分类方法， 其 特征在于： 所述 步骤S5具体包括： S51： 将具有全面信息 的一致性互补性信息向量 输入一个神经网络和一个激活函数， 获得加权后的一 致性互补性信息向量xma， 公式如下： S52： 将加权后的一致性互补性信息向量 与步骤S41中的一个主视角特征图m与两个辅 助视角特征图a1和a2分别进行聚合， 形成融合后的主视角特征图m ′与辅助视角特征图a1′和 a2′。 7.根据权利要求6所述的基于小目标数据增强和多视角协同推理的废钢分类方法， 其 特征在于： 所述 步骤S6具体包括： S61： 将步骤S5得到的主视角特征图m ′与辅助视角特征图a1′和a2′分别输入RPN网络， 得 到候选区域； S62： 根据候选区域， 对特 征图进行Ro iAlign操作， 获取固定大小的特 征图； S63： 将固定大小的特征图输入Mask ‑Rcnn head， 进行废钢的分类、 检测、 分割， 得到分 类损失Lcls、 检测损失Lbbox、 分割损失Lmask； S64： 将步骤S4中得到的KL散度损失LKL与步骤S63中的三个损失进行相加， 得到最终损 失Lfinal； Lfinal＝Lcls+Lbbox+Lmask+LKL S65： 至此， 模型训练完成。 8.根据权利要求7所述的基于小目标数据增强和多视角协同推理的废钢分类方法， 其权　利　要　求　书 2/3 页 3 CN 114821256 A 3