(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210413048.X (22)申请日 2022.04.20 (71)申请人 武汉三江中电科技有限责任公司 地址 430074 湖北省武汉市东湖高新 光谷 大道41号 光谷世贸中心F栋19 楼 (72)发明人 黄凯　黄东旭　 (74)专利代理 机构 武汉东喻专利代理事务所 (普通合伙) 42224 专利代理师 李佑宏 (51)Int.Cl. H04N 5/232(2006.01) (54)发明名称 一种仿人眼的设备图像采集装置及 图像采 集方法 (57)摘要 本发明公开了一种仿人眼的设备图像采集 装置及图像采集方法， 属于设备运行状态检测技 术领域， 其通过对待监拍设备拍摄区域进行九宫 格划分和拍照， 可以实现拍摄区域内设备全景图 像和缺陷部位放大图像的准确获取， 实现设备运 行状态的准确监拍。 本发明中仿人眼的设备图像 采集装置， 其结构紧凑， 利用其进行图像采集的 方法便捷， 能够实现待监拍设备的全 景图像获取 和局部清晰图像获取， 可以准确获取到待监拍设 备上的缺陷部位图像， 为待监拍设备运行状态的 准确判断提供精确的、 足够的判定依据， 保证设 备监测的准确性和可靠性， 为相应 设备的正常运 行提供足够的保障， 具有较好的实用价值和应用 前景。 权利要求书2页 说明书7页 附图3页 CN 114827466 A 2022.07.29 CN 114827466 A 1.一种仿人眼的设备图像采集方法， 其特 征在于， 利用设备图像采集装置来实现； 所述设备图像采集装置包括云台和通过支架转动连接于云台上的图像采集主体； 所述 图像采集主体包括集成设置的可变焦相 机、 红外相 机和双目深度相 机， 并对应各相 机电连 接设置有图像处理模块， 使得图像处理模块可接收对应相机采集的图像并合成用于缺陷识 别的图像； 相应地， 利用所述设备图像采集装置进行设备图像采集的方法包括如下步骤： S1、 控制图像采集主体的拍摄视场中轴线与待监拍设备的中轴线一 致； S2、 初始化所述云台的位置， 记为P0； 同时， 初始化所述可变焦相机的焦距， 使得拍摄画 面缩小至最小且相机 视场内所能拍摄到的物体最多； S3、 将待拍 摄区域以P0为中心划分九宫格， 依次记为P0～P8， 并启动所述图像采集主体 对该待拍摄区域进行九宫格拍照； S4、 将步骤S3中得到的九宫格图片传输至所述图像处理模块， 并在图像处理模块处进 行图片融合， 得到设备当前拍摄区域的全景 大图； S5、 控制图像处理模块利用深度学习算法识别 全景大图， 找出图中的缺陷部位， 并对缺 陷部位标记缺陷矩形框rn， n为不小于1的整数； S6、 确定缺陷矩形框rn在平面九宫格中的区域 位置Pm； m为整数， 且0 ≤m≤8； S7、 控制所述云台转动至对应缺陷矩形框所在的九宫格区域， 由双目深度相机根据该 缺陷矩形框的坐标， 计算出当前缺陷部位与装置的物理距离； 并控制所述可变焦相 机调节 焦距， 放大缺陷部位的图像； S8、 控制所述云 台分别转动至步骤S6得到的区域位置Pm， 并根据缺陷矩形框rn的起点坐 标、 宽、 高信息， 调整所述云台的位置， 将缺陷部位置 于图像采集主体的拍摄画面 正中央； S9、 拍摄缺陷矩形框rn对应部位的 图像并保存， 得到对应该缺陷部位的高清大图； 之后， 转到所述云台复位至初始位置P0， 重复步骤S8， 直至所有缺陷矩形框对应的缺陷图像采集 完毕。 2.根据权利要求1所述的仿人眼的设备图像采集方法， 其特征在于， 在步骤S3中， 进行 九宫格拍照的过程包括： S301： 设置 所述云台的转动速度为匀速， 并将该云台转动至初始位P0； 此后， 启动拍摄并 保存， 得到P0位置所对应的图片； S302： 启动所述云台转动， 从Pa位置出发并越过一格至Pa+1位置， a为整数且0≤a＜8， 依 次得到九宫格中各区域 位置所对应的图片。 3.根据权利要求2所述的仿人眼的设备图像采集方法， 其特征在于， 所述九宫格中相邻 两位置区域之间的间距相等， 并使得 所述云台在相邻两位置之间的转动时间相等。 4.根据权利要求1～3中任一项所述的仿人眼的设备图像采集方法， 其特征在于， 在步 骤S5中， 得到缺陷矩形框的过程如下： S501： 收集待监拍设备 所对应的各种缺陷的数据图片； S502： 对数据图片按不同缺陷类型进行 标注、 清洗、 增广； S503： 将已处理过的样本， 采用yolov5训练框架， 训练并得到高精度的设备缺陷识别模 型； S504： 将模型以微服务的形式封装部署于具有AI算力的计算平台， 并对外提供缺陷识权　利　要　求　书 1/2 页 2 CN 114827466 A 2别服务； S505： 对合成的全景 大图进行缩放、 减均值、 归一 化、 正则化预处 理； S506： 将预处理的图片上传至缺陷识别服务后， 将超过一定阈值的矩形框视为告警矩 形框输出。 5.根据权利要求1～4中任一项所述的仿人眼的设备图像采集方法， 其特征在于， 在步 骤S6中， 确定缺陷矩形框位置的过程如下： 根据如下公式1、 公式2， 计算缺 陷矩形框的中心坐标(x',y')， 并根据 坐标对应关系， 计 算出该坐标位于九宫格中的区域 位置； 其中， ximin为九宫格矩形框i的最小x坐标， ximax为九宫格矩形框i的最大x坐标； yimin为 九宫格矩形框i的最小y坐标， yimax为九宫格矩形框i的最大y坐标。 6.根据权利要求1～5中任一项所述的仿人眼的设备图像采集方法， 其特征在于， 在步 骤S7中， 所述可变焦相机通过公式3进行焦距的调节； 1/u+1/v＝1/f        (公式3) 其中， u为物 距， v为像距， f为焦距。 7.根据权利要求1～6中任一项所述的仿人眼的设备图像采集方法， 其特征在于， 在步 骤S3中进行待拍摄区域的九宫格拍摄时， 同步控制所述红外相机对九宫格中各区域的温度 状态进行拍摄。 8.一种仿人眼的设备图像采集装置， 其特 征在于， 包括云台和图像采集主体； 所述图像采集主体通过支 架转动连接在所述云台上， 并可相对该云台进行 俯仰调整； 所述图像采集主体包括集成设置的可变焦相机、 红外相机和双目深度相机， 分别用于 在变焦情况下采集高分辨率图像、 采集对应区域的温度状态和图像采集过程中的测距； 同 时， 还在所述图像采集主体内设置有图像处理模块， 其与各相机电连接， 用于接收对应相机 采集的图像并合成用于缺陷识别的图像。 9.根据权利要求8所述的仿人眼的设备图像采集装置， 其特征在于， 对应所述云台设置 有移动机构； 所述云台搭载设置在所述移动机构上， 并可在所述移动机构的带动下进行拍 摄位置的变换。 10.根据权利要求8 或9所述的仿人眼的设备图像采集装置， 其特征在于， 在所述图像采 集主体的顶部设置有防护罩。权　利　要　求　书 2/2 页 3 CN 114827466 A 3