(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210018786.4 (22)申请日 2022.01.09 (71)申请人 中国长江三峡集团有限公司 地址 430010 湖北省武汉市江岸区六合路1 号 (72)发明人 李哲　郑开元　汤鹏　周登科　 史凯特　于傲　张亚平　 (74)专利代理 机构 宜昌市三峡专利事务所 42103 专利代理师 余山 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/40(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01)G06V 10/56(2022.01) G06V 10/44(2022.01) G06Q 50/06(2012.01) G07C 1/20(2006.01) (54)发明名称 一种基于纯视觉的保持风机叶片位于相机 视野中间的方法 (57)摘要 一种基于纯视觉的保持风机叶片位于相机 视野中间的方法， 它提供了一种在无人机上挂载 电控云台， 通过云台来控制高分辨率相机的拍摄 角度从而用于跟踪叶片， 使之保持在相机视野中 间的技术， 其目的是为了解决现有的叶片图像拍 摄里不能始终保持风机叶片位于相机视野中间 而导致的不利于准确拼接和有效识别叶片的问 题。 权利要求书3页 说明书7页 附图6页 CN 114463648 A 2022.05.10 CN 114463648 A 1.一种基于纯视觉的保持风机叶片位于相机视野中间的方法， 其特征在于， 它包括以 下步骤： 步骤1： 使用相机对处于正前方的风机叶片拍摄， 对视频流中初始阶段的初始目标帧图 像进行分割， 提取图像中叶片区域的中轴线 并在中轴线上找到两个特殊点Pa和Pb作为感兴 趣区域的定位点， 同时根据叶片区域宽度大小预设一个宽度值width， 而对于视频流的后续 图像帧， 将其由RGB色彩空间转变到 HSV色彩空间； 步骤2： 对于步骤1设定的定位点位置信息和宽度信息， 计算风机叶片区域内部的矩形 感兴趣区域， 通过遍历该矩形感兴趣区域的HSV颜色空间各通道数值来设定要分割的HSV各 通道阈值范围； 步骤3： 根据步骤2设定的阈值范围， 在当前图像帧上找到属于风机叶片区域的外轮廓； 步骤4： 在最终的轮廓分割图上计算叶片的左侧边缘线， 右侧边缘线， 并计算出叶片区 域的中轴线和叶片区域的中心点， 从而根据叶片区域的中心 点和图像中间点之 间的偏移 量 来调整电控云台的姿态， 实现相机拍摄角度的调整。 2.根据权利要求1所述的方法， 其特征在于， 在步骤2中， 在设定要分割的HSV各通道阈 值范围时， 采用以下步骤： 步骤2.1： 连接Pa和Pb两个特殊点计算其单位向量和对应的垂向量， 再根据图像上风机 叶片宽度值的大小选取一个合适的矩形感兴趣区域宽度width， 分别计算出左上端点 右上端点 和左下端点 右下端点 的位置， 由这四个位置点确定矩形范围， 该矩形范围属于图像风机叶片区域内部； 步骤2.2： 对由步骤2.1计算得到的矩形 区域， 对该 区域上各个像素点的HSV通道数值进 行遍历， 确定H通道的最小最大值lowH和maxH， S通道上的最小最大值lowS和maxS， V通道上的 最小最大值 lowV和maxV， 这三对数值设置为该图像帧上的HSV颜色空间分割阈值范围。 3.根据权利要求1所述的方法， 其特征在于， 在步骤3 中， 在找到属于风机叶片区域的外 轮廓时， 采用以下步骤： 步骤3.1： 首先遍历图像各个像素点， 如果该像素点上的HSV通道各个通道数值满足如 下条件， 则保留该像素点， 否则该像素点 不予考虑， 将通道数值改为(0， 0， 0)， 其中， H(i,j)value， S(i,j)value和V(i,j)value分别表示图像第i行第j列的像素点在HSV颜色空 间上各通道的具体数值大小； 步骤3.2： 由步骤3.1可得到初步分割后的图像， 之后再对该图采用形态学方法进行后 处理， 对图像做先腐蚀后膨胀的开运算， 消除多余的杂点和噪声点； 再对图像做先膨胀后腐 蚀的闭运算来填补内部空洞， 基于风机叶片所占平面图像空间最多这一先验信息， 寻找最 大连通域并保留， 以此作为 最终的图像分割结果。 4.根据权利要求1所述的方法， 其特征在于， 在步骤4中， 在计算叶片中轴 线与中轴线中 间点位置时， 采用以下步骤： 步骤4.1： 逐行从左到右遍历分割图， 所遇到的第一个不为(0， 0， 0)通道数值的像素点权　利　要　求　书 1/3 页 2 CN 114463648 A 2记为左边缘点， 加入左边缘点集合， 而 所遇到的最后一个不为(0， 0， 0)通道数值的像素点记 为右边缘点， 加入右边 缘点集合； 步骤4.2： 对由步骤4.1遍历图像得到的左边缘点集合采用最小二乘法拟合出直线参数 (斜率k和截距b)， 根据直线方程的参数， 计算直线与图像边缘的上 交点和下 交点位置， 设叶 片左边缘直线与图像边缘的相交点分别为Pleft1和Pleft2， 在图像上连接Pleft1和Pleft2即可得 到风机叶片的左侧边 缘直线； 步骤4.3： 同步骤4.2， 对右边缘点集合采用相同的处理方法， 可以得到叶片边缘直线与 图像边缘的相交点Pright1和Pright2， 在图像上连接Pright1和Pright2即可得到风机叶片的右侧边 缘直线； 步骤4.4： 根据由步骤4.2和步骤4.3计算得到的风机叶片左侧边缘直线和右侧边缘直 线的各自斜率正负关系， 对同属于图像上半边位置的左右侧直线边缘相交点加和取中得到 风机叶片中轴线上某点PMid1， 并计算这对相交点之间的距离， 记为叶片上宽度upWidth； 对 同属于图像下半边位置的左右侧直线边缘相交点加和取中得到风机叶片中轴线上某点 PMid2， 并计算这对相交点之间的距离， 记为叶片下宽度downWidth； 根据PMid1和PMid2这两点的 位置信息， 采用计算叶片左右侧边缘直线的方法来计算和绘制中轴线的位置,同时根据图 像叶片的上宽度upWi dth和下宽度downWi dth来计算下一帧图像新的矩形区域宽度wi dth， 确保无人机在沿叶片巡检飞行时能够根据叶片宽度实时调整； 步骤4.5： 取叶片中轴线与图像边缘交点的连线中点作为叶片区域的中心点， 进而根据 叶片区域的中心 点和叶片采集图像的中心之间的偏移量来调整电控云台， 实现相机拍摄角 度的调整， 使得在后续的视频流图像帧中， 叶片区域的中心 点能够向图像的中心移动， 从而 保持叶片位于图像视野中间， 最后在中轴线上取距离图像边缘上交点约1/3位置处和距离 图像边缘下交点约1/3位置处的两个像素点作为新的特殊点Pa和Pb， 将其作为下一帧图像的 感兴趣区域定位 点。 5.一种获取风机叶片外轮廓的方法， 其特 征在于， 它包括以下步骤： 步骤1)使用相机对处于正前方的风机叶片拍摄， 对视频流中初始阶段的初始目标帧图 像进行分割， 提取叶片区域的中轴线并在中轴线上找到两个特殊点Pa和Pb作为感兴趣区域 的定位点， 同时根据叶片区域宽度大小预设一个宽度值width， 而对于视频流的后续图像 帧， 将其由RGB色彩空间转变到 HSV色彩空间； 步骤2)对于步骤1)设定的特殊点位置信 息和宽度信息， 计算风机叶片区域内部的矩形 感兴趣区域， 并设定要分割的HSV各通道阈值范围； 步骤3)根据步骤2)设定的阈值范围， 在当前图像帧上找到属于风机叶片区域的外轮 廓。 6.根据权利 要求5所述的方法， 其特征在于， 在步骤2)中， 在设定要分割的HSV各通道阈 值范围时， 采用以下步骤： 步骤2‑1)： 连接Pa和Pb两个特殊点计算其单位向量和对应的垂向量， 再根据宽度值 width分别计算出左上端点 右上端点 和左下端点 右下端点 的位置， 由这四个位置点确定矩形区域范围， 该矩形区域范围属于图像上风机叶片区域内部； 步骤2‑2)： 对由步骤2 ‑1)计算得到的矩形 区域， 对该 区域上各个像素点的HSV通道数值 进行遍历， 确定H通道的最小最大值lowH和maxH， S通道上的最小最大值lowS和maxS， V通道上权　利　要　求　书 2/3 页 3 CN 114463648 A 3