(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210784285.7 (22)申请日 2022.07.05 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 宋光明　顾玥　毛巨正　李雅雯　 宋爱国　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 叶倩 (51)Int.Cl. B25J 11/00(2006.01) B25J 9/16(2006.01) B24B 27/06(2006.01) (54)发明名称 用于隧洞水下裂缝修补的止水针头半自主 切割拆除方法 (57)摘要 本发明公开了一种用于隧洞水下裂缝修补 的止水针头半自主切割拆除方法， 基于改进 YOLOv5的水下小目标检测方法对预处理后的裂 缝环境图像进行止水针头的识别， 根据识别结果 和双目相机视差图， 计算得到止水针头在机械臂 基坐标系下的三维位置坐标， 选择距离最近的止 水针头作为作业任务目标， 通过机械臂逆运动学 求解， 获得水下机器人机械臂末端的目标位姿， 采用改进的RRT算法对 水下机器人机械臂进行路 径规划； 最后操作人员采用增量式位置控制方式 通过主端力反馈人机接口操作机械臂执行切割 动作。 本发 明方法提高了操作流程的自动化水平 和安全程度。 权利要求书2页 说明书6页 附图5页 CN 115091480 A 2022.09.23 CN 115091480 A 1.用于隧洞水下裂缝修补的止水针头半自主切割拆除方法， 其特征在于， 包括如下步 骤： S1： 通过水下机器人上的主摄像头获取隧洞水下裂缝环境下的图像， 并对图像进行预 处理； S2： 基于改进YOLOv5的水下小目标检测方法对步骤S1经过预处理的图像进行止水针头 的识别， 并将识别结果传回主端； 所述基于改进的YOLOv5的水下小目标检测方法将Swin   Transformer作为YOLOv5的基础骨干网络， 增加额外的上采样层与主干相应层融合， 将特征 金字塔与PANet的连接方式设为细粒度的YOLO特 征输出层； 所述增加额外的上采样层与主干相应层融合的方法具体为通过将主干的输出再次进 行上采样， 并与上一层的主干输出融合以生成新的特征图， 对新的特征图进行下采样从而 作为新添加的检测层输出； S3： 主端显示器接收识别结果后， 在显示器上显示止水针头识别结果的矩形框， 辅助操 作人员认知； S4： 根据识别结果， 得到每一个止水针头识别结果矩形框的中心点在双目摄像头左侧 图像上的像素点坐标， 通过主摄像头左右摄像头的双目视差获得深度信息， 从而确定止水 针头在相机坐标系下的三 维位置坐标； 根据眼在手外的手眼标定结果得到相机坐标系与机 械臂基坐标系的转换矩阵， 计算得到止水针头在机械臂基坐标系 下的三维位置坐标， 选择 距离当前 水下机器人机 械臂末端最近的止水针头作为本次作业任务目标； S5： 通过机械臂逆运动学求解， 获得水下机器人机械臂末端的目标位姿， 采用改进的 RRT算法对 水下机器人机械臂进 行路径规划输出关节空间集合， 以更快接近作业任务目标， 获得合适的路径位置； S6： 当水下机器人机械臂末端自主到达作业任务目标的止水针头处时， 操作人员采用 增量式位置控制方式通过主端力反馈人机接口操作水下机械臂执行切割动作,机械臂上的 六维力传感器采集切割力并发回给主端控制计算机； 所述增量式位置控制方式具体为： 力 反馈人机接口以一定频率读取增量值ΔPm＝Pm2‑Pm1， 并乘以比例系数K， 计算得到从端机械 手末端的位置增量ΔPs＝KΔPm， 进而得到从端机械臂末端的目标位置为Ps2＝Ps1+KΔPm， 通 过解算机械臂逆解可 得到机械臂各关节的角度。 2.如权利要求1所述的用于隧洞水下裂缝修补的止水针头半自主切割拆除方法， 其特 征在于： 所述步骤S1 中的预处理至少包括使用限制对比度自适应直方图均衡算法进 行图像 增强及使用USM算法进行图像锐化， 所述 步骤具体包括： S11： 将获取的RGB格式的每帧图像转换为HSV格式； S12:对H、 S、 V三个通道分别进行限制对比度自适应直方图均衡处理,然后对处理完毕 的三通道图像进行合成， 获得图像A； S13： 对步骤S1 1获得的HSV格式图像使用USM 锐化， 获得图像B； S14： 将步骤S12获得的图像A与步骤S13获得的图像B做加权线性融合， 即Ienhanced＝α *A+ (1‑α )*B， 其中0 <α <1； S15： 将处 理完毕的HSV图像转换为RGB图像。 3.如权利要求2所述的用于隧洞水下裂缝修补的止水针头半自主切割拆除方法， 其特 征在于： 所述步骤S 5利用RRT算法进行路径规划过程中的新节 点扩展， 根据随机概率可选择权　利　要　求　书 1/2 页 2 CN 115091480 A 2在自由空间扩展、 沿目标 方向扩展或根据人工势场引导扩展三种扩展策略。 4.如权利要求3所述的用于隧洞水下裂缝修补的止水针头半自主切割拆除方法， 其特 征在于： 所述步骤S5中改进RRT算法进行路径规划的过程具体为： 将机械臂末端当前位置 Xcurrent设为根节点， 最终作业任务目标位置为 Xgoal， 设定步长为 ε， 计算服从均匀分布的随机 概率prand， 若0≤prand≤0.2， 则选 取随机树上距当前节点欧式距离最近的随机采样点Xnearest 作为待生长的节点的方向， 由Xcurrent向Xnearest方向以步长 ε生长得到新的节点Xnew； 若0.2<prand≤0.6， 则选取最终目标位置Xgoal节点生长方向， 由Xcurrent向Xgoal方向以步长 ε生长得到新的节点Xnew； 若0.6<prand≤1， 则新节点的方向和步长均根据距当前节点欧式距 离最近的随机采样点 Xnearest和人工势场进行计算， 新节点的生成公式为 其中Ftotal为机械臂末端在Xnearest处所受 的人工势场引力和斥力之和； 再判断Xnew是否与障碍物碰撞或与障碍物距离小于阈值， 若发生碰撞或小于阈值则舍 弃， 否则则保留， 不断重复以上步骤， 直到随机树 生长到作业任务目标区域。 5.如权利要求4所述的用于隧洞水下裂缝修补的止水针头半自主切割拆除方法， 其特 征在于： 所述步骤S 5结合人工势场引导的改进RRT算法进 行路径规划的过程中， 当随机树成 长到作业任务 目标区域后， 还包括采用冗余节点去除操作步骤和 最大曲率约束操作步骤， 使路径更加平 滑。 6.如权利要求5所述的用于隧洞水下裂缝修补的止水针头半自主切割拆除方法， 其特 征在于： 所述步骤S6中， 当|ΔPm|<0.001m时， 比例系数K＝0； 当0.001m≤|ΔPm|<0.005m时， 比例系数K＝0.5； 当0.005m≤|ΔPm|<0.01m时， 比例系数K＝1； 当|ΔPm|≥0.01m时， 比例系 数K＝2。 7.如权利要求6所述的用于隧洞水下裂缝修补的止水针头半自主切割拆除方法， 其特 征在于： 还包括将隧洞墙体设为禁止区域， 采用禁止区域虚拟夹具方法限制水下机器人机 械臂末端的运动。权　利　要　求　书 2/2 页 3 CN 115091480 A 3