(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211418477.2 (22)申请日 2022.11.14 (71)申请人 华联机械集团有限公司 地址 325006 浙江省温州市瓯海大维路2号 (72)发明人 董蓓华　柯君阳　金祥光　侯世银　 黄海隆　刘毅　陈伟　蒋琪　 朱星觉　麻佳豪　 (74)专利代理 机构 浙江维创盈嘉专利代理有限 公司 33477 专利代理师 于岩 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/73(2017.01) G06V 10/54(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) (54)发明名称 基于视觉识别的封箱机智能调控方法 (57)摘要 本发明涉及数字数据处理技术领域， 具体涉 及一种基于视觉识别的封箱机智能调控方法。 该 方法采集封箱机密封处理后纸箱表面的像素值 信息、 激光深度值信息和声波深度值信息， 根据 这些信息构建胶带区域每个子区域的表面特征 向量。 构建异常类别识别网络， 注意力层根据每 个子区域的深度值差异指标和纹理复杂度获得 注意力权重， 通过注意力权重调整每个子区域的 表面特征向量获得多层感知器层的训练数据。 通 过训练完成的异常类别识别网络识别出待检测 纸箱的异常类别， 对封箱机参数进行针对性调 节。 本发明通过对特征向量的增强， 进而获得准 确的异常类别识别网络进行异常类别识别， 通过 异常类别能够对封箱机进行针对性的智能调控。 权利要求书2页 说明书8页 附图2页 CN 115471505 A 2022.12.13 CN 115471505 A 1.一种基于 视觉识别的封箱机智能调控方法， 其特 征在于， 所述方法包括： 利用图像采集设备采集流水线上经封箱机密封处理后的纸箱的表面图像； 所述表面图 像中每个像素点包括像素值、 激光深度值和声 波深度值； 获得所述表面图像中的胶带区域， 将所述胶带分为多个子区域； 所述子区域内的多种 表面信息构成表面特征向量； 所述表面信息包括像素值信息、 激光深度值信息和声波深度 值信息； 获取每个所述子区域中所有像素点的激光深度值与标准激光深度值的平均激光深度 值差异； 获取每个所述子区域中所有像素点的声波深度值与标准声波深度值的平均声波深 度值差异； 获取当前封箱机所使用胶布的透光性； 将所述透光性与所述平均声波深度值差 异相乘后与所述平均激光深度值差异相加， 获得深度值差异指标； 获取每个所述子区域的 纹理复杂度； 构建异常类别识别网络； 所述异常类别识别网络包括注意力层和多层感知器层； 在训 练过程中更新所述注意力 层的线性降维矩阵和相似性度量向量， 根据所述线性降维矩阵将 所述胶带区域中的目标子区域和其他子区域的所述表面特征向量进行降维并整合， 并通过 所述相似度度量向量对整合后的向量进行度量， 结合所述其他子区域的所述深度值差异指 标和所述纹理复杂度获得每个所述其他子区域相对于所述目标子区域的注意力权重； 根据 加权后的所述其他子区域的所述表面特征向量与所述目标子区域的所述表面特征向量聚 合， 获得所述多层感知器层的训练数据， 基于所述训练数据训练所述多层感知器层； 将待检测纸箱 的实时表面特征向量输入所述异常类别识别网络， 获得异常类别； 根据 所述异常类别调节封箱机的参数。 2.根据权利要求1所述的一种基于视觉识别的封箱机智能调控方法， 其特征在于， 所述 图像采集设备包括： 所述图像采集设备包含两个相机模组， 每个相机模组中包括RGB相机、 激光深度相机和 超声波雷达； 两个相机模组固定在升降杆上且与升降杆的角度均为45 °， 两个相机模组的拍 摄视角相对； 当待检测纸箱随着传送带传送至两个相 机模组中间时， 根据纸箱的高度控制 升降杆的高度和后续 纸箱与待检测纸箱的间距， 采集待检测纸箱的表面图像。 3.根据权利要求1所述的一种基于视觉识别的封箱机智能调控方法， 其特征在于， 所述 子区域内的多种表面信息构成表面特 征向量包括： 将像素点的像素值、 激光深度值和声波深度值构成像素点的特征向量； 将所述子区域 内的像素点的所述特征向量根据像素点的位置从左到右从上到下进行拼接， 获得所述表面 特征向量。 4.根据权利要求1所述的一种基于视觉识别的封箱机智能调控方法， 其特征在于， 所述 获取当前封箱机所使用胶布的透光 性包括： 利用透光 率检测仪获得 所用胶布的透光 性。 5.根据权利要求1所述的一种基于视觉识别的封箱机智能调控方法， 其特征在于， 所述 获取每个所述子区域的纹 理复杂度包括： 获得所述子区域的灰度共生矩阵； 获得所述灰度共生矩阵的熵和对比度； 根据纹理复 杂度公式获得 所述纹理复杂度， 所述纹 理复杂度公式包括： 权　利　要　求　书 1/2 页 2 CN 115471505 A 2其中， 为所述纹理复杂度， 为所述熵， 为所述对比度， 为所述熵的权 重， 为所述对比度的权 重。 6.根据权利要求1所述的一种基于视觉识别的封箱机智能调控方法， 其特征在于， 所述 根据所述线性降维矩阵将所述胶带区域中的目标子区域和 其他子区域的所述特征向量进 行降维并整合， 并通过所述相似度度量向量对整合后的向量进行度量， 结合所述其他子区 域的所述深度值差异指标和所述纹理复杂度获得每个所述其他子区域相对于所述目标子 区域的注意力权 重包括： 根据注意力权 重公式获得 所述注意力权 重， 所述注意力权 重公式包括： 其中， 为第 个所述其他子区域相对于第 个所述目标子区域的所述注意力权重， 为激活函数， 为第 个所述目标子区域的所述表面特征向量， 为第 个所述其 他子区域的所述表面特征向量， 为所述线性降维矩阵， 为所述相似性度量向量， 为整合后的向量， 为相似度度量函数， 为第 个所述其他子区域的所述 平均激光深度值差异， 为第 个所述其他子区域的所述透光性， 为第 个所述其他 子区域的所述平均声波深度值差异， 为第 个所述其他子区域的所述纹理复杂度， 为以自然常数为底的指数函数， 为所述其他子区域的集 合。 7.根据权利要求1所述的一种基于视觉识别的封箱机智能调控方法， 其特征在于， 所述 根据加权后的所述其他子区域的所述表面特征向量与所述目标子区域的所述表面特征向 量聚合， 获得 所述多层感知器层的训练数据包括： 根据聚合公式获得每 个所述目标子区域的聚合向量， 所述聚合公式包括： 其中， 为第 个所述目标子区域的所述聚合向量， 为第 个所述目标子区域的所述表 面特征向量， 为第 个所述其他子区域相对于第 个所述目标子区域的所述注意力权 重， 为第 个所述其他子区域的所述表面特 征向量， 为所述其他子区域的集 合； 以所述聚合向量作为所述多层感知器层的训练数据， 基于所述训练数据训练所述多层 感知器层。权　利　要　求　书 2/2 页 3 CN 115471505 A 3