(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210962731.9 (22)申请日 2022.08.11 (71)申请人 山西大学 地址 030006 山西省太原市坞城路9 2号 (72)发明人 陈路　牛洺第　钱宇华　闫涛　 (74)专利代理 机构 太原申立德知识产权代理事 务所(特殊普通 合伙) 14115 专利代理师 程园园 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种适用 于恶劣环境的物体六维位姿估计 方法和系统 (57)摘要 本发明属于图像处理与计算机视觉领域， 针 对现有六维位姿估计方法在恶劣环境下运行效 率和适应性上的不足， 公开了一种适用于恶劣环 境的物体六维位姿估计方法和系统。 主要包括图 像增强、 图像融合和六 维位姿估计3部分， 所述图 像增强基于传统和深度学习两种方法， 所述图像 融合采用自编码融合网格进行， 所述六维位姿估 计通过特征提取、 语义分割、 关键点预测和回归 位姿进行。 通过在位姿估计前添加图像增强模 块， 使得本发明能够在恶劣环境(雾天和弱光等 条件)完成六维位姿估计。 通过将传统图像增强 方法和深度学习图像增强方法结果融合， 扩大了 图像所含有的时间空间信息， 减少了不确定性， 增加了可靠性， 可用于恶劣环 境下自动驾驶技术 和物体抓取。 权利要求书3页 说明书6页 附图2页 CN 115294433 A 2022.11.04 CN 115294433 A 1.一种适用于恶劣环境的物体六维位姿估计方法， 其特 征在于， 包括以下步骤： 步骤1， 采用基于传统和深度学习两种方法对图像进行增强； 步骤2， 采用自编码融合网格进行图像融合； 步骤3， 通过 特征提取、 语义分割 、 关键点预测 和回归位姿 进行六维位姿估计。 2.根据权利要求1所述的一种适用于恶劣环境的物体六维位姿估计方法， 其特征在于， 所述步骤1中基于传统方法对图像进 行增强是采用由若干个可微滤波器组成的图像增强子 模块和一个用于预测滤波器超参数的小型卷积神经网络， 图像增强子模块包括锐化滤波器 和去雾滤波器； 在去雾滤波器， 采用下述方程所描述的雾图形成模型： I(x)＝J(x)t(x)+A(1 ‑t(x))                   (1) 式中， I(x)是输入图像， J(x)是输出的无雾图像， A是全球大气光成分， t(x)是透射 率； 根据公式， 可以得 出t(x)的近似值： 式中， C表示RGB三 通道； 引入一个参数 λ来控制除雾程度： 由于上述操作是可微的， 可以通过反向传播来优化λ， 使去雾滤波器更有利于位姿估 计； 在锐化滤波器， 图像的锐化可以突出图像的细节， 锐化的过程可以表示 为： F(x, η )＝ I(x)+ η(I(x) ‑Gau(I(x) ))            (4) 式中， I(x)是输入图像， Gau(I(x))表示高斯滤波器， η是一个正的比例因子， 这个锐化 操作对x和 η都是 可微分的， 可以通过反向传播 来优化x和 η； 用于预测滤波器超参数的小型卷积神经网络由4个卷积块和2个全连通层组成， 每个卷 积块包括一个步长为2的3 ×3卷积层和一个leaky  Relu激活函数， 这四层卷积的输出通道 分别为16、 32、 32和 32； 卷积神经网络的输入为恶劣环境下的图像， 最后的全连接层输出为 预测的各种滤波器的超参数。 3.根据权利要求1所述的一种适用于恶劣环境的物体六维位姿估计方法， 其特征在于， 所述步骤1中基于深度学习方法的图像增强是基于生成对抗网络的方法实现的， 生成对抗 网络包括 生成网络和判别网络 两部分； 其中： 生成网络模型由16层组成， 前半部分由6层卷积层和2层池化层组成， 在每一层卷积后 都添加批量标准化和leaky  Relu激活函数， 卷积核大小为3 ×3， 步长为2， 通道数为32、 32、 64、 64、 128和128， 在第3次卷积层和第6次卷积层后分别加入池化层； 后半部分由8层反卷积 层组成， 卷积核大小为3 ×3， 步长为2， 通道数为256、 256、 128、 128、 64、 64、 32和3； 通过卷积 和反卷积 操作， 调整权 重参数， 从而达 到图像增强的效果； 判别网络模型由全卷积网络组成， 一共包括5个卷积层， 前4个卷积层后都添加批量标 准化和leaky  Relu激活函数， 卷积核大小 为3×3， 步长为1， 通道数为42、 96、 192、 384和3， 在 网络末尾添加sigmo id激活函数进行 特征映射， 将结果归一。权　利　要　求　书 1/3 页 2 CN 115294433 A 24.根据权利要求3所述的一种适用于恶劣环境的物体六维位姿估计方法， 其特征在于， 所述基于生成对抗网络实现图像增强的具体过程为： 将恶劣环境条件下的图像输入生成网 络中， 经过生成网络卷积和反卷积操作得到增强的图像， 然后将增强后的图像和正常条件 下的图像输入判别网络进行判别， 以区分真和假， 并输出一个概率； 当输出的概率值接近1 时， 说明的输入的是一张正常光照条件 下的图像； 当判别器无法判定 真假的时候， 此时生成 网络生成的图像为 最优图像； 设{mi,i＝1,2,...,N}和{ni,i＝1,2,...,N}分别代表恶劣环境下的图像和正常条件下 的图像， 对抗损失可定义 为： 其中G表示 生成网络， D表示判别网络； 网络模型的均方差损失可定义 为： 最后将对抗损失和均 方差损失结合起来并配置一定的权重α和β， 得到最终生成网络的 损失： Lt＝α La+β Lm                      (7) 判别网络的损失可以定义 为： 5.根据权利要求1所述的一种适用于恶劣环境的物体六维位姿估计方法， 其特征在于， 所述步骤2中采用自编码融合网格进 行图像融合具体为： 将要融合的图片 输入编码层， 通过 两次卷积， 卷积核 大小为2×2， 步长为 1； 编码层的输出就是融合层的输入， 然后在融合层 采 用Addition的策 略将隐藏层的特征进行融合； 融合层的输出就是解码层的输入， 解码层由 三次卷积操作， 卷积核 大小为2×2， 步长为 1； 为了保证图像细节特征提取不丢失， 自编码融 合网络中没有池化操作。 6.根据权利要求1所述的一种适用于恶劣环境的物体六维位姿估计方法， 其特征在于， 所述步骤3中特征提取使用Dar knet53网络模 型， 网络的输入为已经经过滤波器增强过后的 图片， 输出为图片的特 征， 用于后续的语义分割和关键点预测。 7.根据权利要求1所述的一种适用于恶劣环境的物体六维位姿估计方法， 其特征在于， 所述步骤3中语义分割 是对叠加在图像上 的每个像素点分配一个标签来区分不同的对 象， 更准确地说， 给定N个对象类， 这将转化为在每个空间位置输出一个维数为N+1的向量， 外加 一个维数来表示背景； 损失函数为： 其中， M表示类别数量； yc是指示变量， 0或1， 如果该类别和样本的类别相同就是1， 否则 是0； pc代表观测样本属于 c类别的预测概 率。权　利　要　求　书 2/3 页 3 CN 115294433 A 3