(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111674736.3 (22)申请日 2021.12.31 (71)申请人 北京建筑大学 地址 100044 北京市西城区展览 路1号 (72)发明人 周庆辉　刘浩世　谢贻东　 (74)专利代理 机构 北京科领智诚知识产权代理 事务所(普通 合伙) 11782 专利代理师 陈士骞 (51)Int.Cl. G06T 7/70(2017.01) G06T 7/80(2017.01) G06V 20/56(2022.01) G06V 10/143(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种自动驾驶装载机对沙石堆检测识别和 测量的方法 (57)摘要 本发明涉及智能检测技术领域， 具体涉及到 一种自动驾驶装载机对沙石堆检测识别和测量 的方法， 所述方法包括以下步骤： 步骤一、 深度相 机拍照采集信息： 应用数据集采集装置的各传感 器获取砂 石堆的信息， 并且将获得的砂石堆数据 进行存储， 红外相机获取识别砂石堆， 并建立坐 标系； 步骤二、 选用单线激光雷达和红外相机， 使 用棋盘格标定法进行了激光雷达与相机联合标 定， 在相机标定后使用相机内、 外参获取棋盘格 相机坐标系下的位姿信息； 本发 明通过在自动驾 驶装载机上安装了红外相机， CMOS摄像头， 激光 雷达装置， 数据集采集装置后， 激光雷达和红外 相机使用棋盘格标定法进行了联合标定， 使用LM 算法优化获取最优参数。 权利要求书1页 说明书4页 附图2页 CN 114494415 A 2022.05.13 CN 114494415 A 1.一种自动驾驶装载机沙石堆检测的智能系统， 其组成包括： 安装在自动驾驶装载机 上的红外相机， CMOS 摄像头， 激光雷达装置， 数据集采集装置； 红外相机： 红外相机可全天候 进行检测， CMOS摄像头用于探测识别自动驾驶装载机前方的沙石堆， 将此沙石堆作为目标 物体； 激光雷达装置： 用于向沙石堆发射探测激光束， 然后将接收到的从目标反射回来的目 标回波与发射信号进行比较， 作适当处 理后， 就可获得目标的有关信息； 数据集采集装置： 用于采集沙石堆模型信 息， 并将模型记录并保存； 将采集到的沙石堆 作为预测算法的训练集， 训练多次， 然后将训练好的沙石堆预测算法模型保存。 2.根据权利要求1所述一种自动驾驶装载机沙石堆检测智能系统识别和测量的方法， 所述方法包括以下步骤： 步骤一、 深度相机拍照采集信息： 应用数据集采集装置的各传感器获取砂石堆的信 息， 并且将获得的砂石堆数据进行存 储， 红外相机获取识别砂石堆， 并建立 坐标系； 步骤二、 选用单线激光雷达和 红外相机， 使用棋盘格标定法进行了激光雷达与相机联 合标定， 在相机标定后使用相机内、 外参 获取棋盘格相机坐标系下的位姿信息， 通过激光雷 达获取的标定板点云信息来计算棋盘格激光坐标系下的位姿信息， 进而求取两者之 间的外 参信息， 再使用LM算法优化获取最优参数； 步骤三、 YOLOV5算法进行优化， 加入SENet压缩 模块和CBAM注意力机制模块； 步骤四、 向神经网络的卷积层输入数据进行处 理； 步骤五、 进入最大池化层对图像特 征进一步提取； 步骤六、 再进入卷积层， 用3 ×3卷积核对图像特 征进行提取； 步骤七、 再进入最大池化层对图像特 征进行提取； 步骤八、 设置损失函数， 损失函数为交叉熵函数： 步骤九、 进入非线性层， 用激活函数： ReLU＝max{0,x}； 步骤十、 对改进的YOLOV5算法进行训练； 步骤十一、 对参数进行优化， 保存训练结果； 步骤十二、 将训练好的模型部署到Jetso n nano开发板上进行 数据集训练。 3.根据权利要求2所述一种自动驾驶装载机沙石堆检测智能系统识别和测量的方法， 其特征在于： 所述其中步骤一和步骤二数据采集方法具体为： 进行数据采集的车辆装有视 觉传感器和激光传感器， 应用目标检测 算法识别砂石堆并对砂石堆进行标定和聚类； 由人 为设定自动驾驶装载机的路径， 经过若干小时后， 传感器获取到砂 石堆数据， 保存以采集到 的数据算法使用。权　利　要　求　书 1/1 页 2 CN 114494415 A 2一种自动驾驶装载 机对沙石堆检测识别和测量的方 法 技术领域 [0001]本发明涉及智能检测技术领域， 具体涉及到一种自动驾驶装载机对沙石堆检测识 别和测量的方法。 背景技术 [0002]随着人工智能技术和传感器技术的发展， 自动驾驶技术日趋成熟， 该技术应用的 领域也变广。 目前在建筑工程工业领域中， 大多 数是通过人来识别沙石堆， 然后进 行人工操 作装载机铲挖技术。 这种传统的方式是一种有效的手段， 因其具有检测识别速度快且准确 度高的特点， 一 直在建筑工程工业领域中应用。 但是， 该传统方式会花费较大的人力资源。 发明内容 [0003]为了克服现有技术的上述缺陷， 本发明提供了一种自动驾驶装载机对沙石堆检测 识别和测量的方法， 以解决上述背景技 术中存在的问题。 [0004]本发明提供如下技术方案： 一种自动驾驶装载机沙石堆检测的智能系统， 其组成 包括： 安装在自动驾驶装载机上的红外相机， C MOS摄像头， 激光雷达装置， 数据集采集装置； [0005]红外相机： 红外相机可全天候进行检测， CMOS摄像头用于探测识别自动驾驶装载 机前方的沙石堆， 将此沙石堆作为目标物体； [0006]激光雷达装置： 用于向沙石堆发射探测激光束， 然后将接收到 的从目标反射回来 的目标回波与发射信号进行比较， 作适当处 理后， 就可获得目标的有关信息； [0007]数据集采集装置： 用于采集沙石堆模型信息， 并将模型记录并保存； 将采集到的沙 石堆作为预测算法的训练集， 训练多次， 然后将训练好的沙石堆预测算法模型保存。 [0008]进一步的， 自动驾驶装载机沙石堆检测智能系统识别和测量的方法， 所述方法包 括以下步骤： [0009]步骤一、 深度相机拍照采集信息： 应用数据集采集装置 的各传感器获取砂石堆的 信息， 并且将获得的砂石堆数据进行存 储， 红外相机获取识别砂石堆， 并建立 坐标系； [0010]步骤二、 选用单线激光雷达和红外相机， 使用棋盘格标定法进行了激光雷达与相 机联合标定， 在相机标定后使用相机内、 外参 获取棋盘格相机坐标系下的位姿信息， 通过激 光雷达获取的标定板点云信息来计算棋盘格激光坐标系下的位姿信息， 进而求取两者之间 的外参信息， 再使用LM算法优化获取最优参数； [0011]步骤三、 YOLOV5算法进行优化， 加入SENet压缩 模块和CBAM注意力机制模块； [0012]步骤四、 向神经网络的卷积层输入数据进行处 理； [0013]步骤五、 进入最大池化层对图像特 征进一步提取； [0014]步骤六、 再进入卷积层， 用3 ×3卷积核对图像特 征进行提取； [0015]步骤七、 再进入最大池化层对图像特 征进行提取； [0016]步骤八、 设置损失函数， 损失函数为交叉熵函数：说　明　书 1/4 页 3 CN 114494415 A 3