(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111604424.5 (22)申请日 2021.12.25 (71)申请人 跨境云 （横琴） 科技创新研究中心有 限公司 地址 519000 广东省珠海市横琴新区环岛 东路1889号创意谷17栋跨 境说 (72)发明人 吕燕　蒋风浪　叶思迪　周运贤　 胡重阳　戴岳　张宇博　易大勇　 (74)专利代理 机构 北京盛凡佳华专利代理事务 所(普通合伙) 11947 专利代理师 安学慧 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/33(2017.01) G06T 7/73(2017.01)G06T 7/80(2017.01) G06T 5/00(2006.01) G06T 19/20(2011.01) (54)发明名称 基于部件点云配准检测的工业缺陷检测系 统 (57)摘要 本发明公开了一种基于部件三维点云模型 的工业缺陷检测系统， 本发明涉及工业缺陷检测 技术领域。 本发 明提供的基于部件三维点云模型 的工业缺陷检测系统在工业部件采集时， 用结构 光相机采集部件的三维点云模型， 结构光相机作 为一种特殊的采集装置， 抗光照干扰能力强。 采 集的点云模 型用于和模板点云进行点云配准， 根 据配准结果的差异点进行缺陷判定， 同时根据系 统设定， 同时讲配准点云映射到二维图像中， 在 二维图像上检测缺陷， 检测结果以固定的XML格 式输出到指定目录。 本发明在改进了采集装置及 检测算法的同时， 其检测效率满足工业实时检测 的应用需求， 对保障工业生产的安全运行有重要 价值。 权利要求书1页 说明书4页 附图1页 CN 114494134 A 2022.05.13 CN 114494134 A 1.一种基于部件点云配准检测的工业缺陷检测系统， 包括以下组成部分： 3D结构光相 机采集装置、 三维点云配准检测装置、 部件缺陷转换显示装置 。 2.根据权利要求1所属的系统， 其特征在于， 可以执行基于部件点云配准检测的工业缺 陷检测方法， 其特 征在于， 包括如下流 程： 步骤(1)3D结构光相机采集装置扫描需要检修的工业部件， 采集得到部件深度图像和 RGB图像。 步骤(2)将步骤(1)采集的部件深度图像和标准的部件深度图像输入至三维点云配准 检测装置中， 运行三维点云配准检测算法， 得到检测为 缺陷的三维点云坐标。 步骤(3)将步骤(2)获得的缺陷三维点云坐标和采集的部件RGB图像输入至点云转换显 示装置中， 投影点云为图像， 生 成缺陷点云的矩形包围框， 生 成缺陷包围框的XML文件， 并将 矩形缺陷检测框 显示在RGB图像上。 3.根据权利要求1所属的系统， 其特征在于， 3D结构光相机采集装置扫描需要检修的工 业部件， 采集得到 部件深度图像和RGB图像， 包括： 使用3D结构光相机扫描需要检修的工业部件。 4.根据权利要求1所属的系统， 其特征在于， 将采集的部件深度图像和标准的部件深度 图像输入至三维点云配准检测装置中， 运行三维点云配准检测算法， 得到检测为缺陷的三 维点云坐标， 包括： 将采集的部件深度图像和标准的部件深度图像输入至三维点云配准检测装置； 将深度图转换为 三维点云模型； 将采集点云和标准 点云使用基于点云FPFH特 征的RANSAC算法配准到同一 位置； 使用倒角距离判断采集 点云中的异常点， 输出异常点 坐标。 5.根据权利要求1所属的系统， 其特征在于， 将 获得的异常三维点云坐标和采集的部件 RGB图像输入至点云转换显示装置中， 投影点云为图像， 生成缺陷点云的矩形包围框， 生成 缺陷包围框的XML文件， 并将矩形缺陷检测框 显示在RGB图像上， 包括： 将获得的异常缺陷三维点云坐标和采集的部件RGB图像输入至点云转换显示装置中； 根据相机标定位置， 投影异常三维点云至图像平面， 生成缺陷点云投影图像； 使用去噪算法处 理异常点云投影图像， 并生成缺陷点云的矩形包围框 。 根据缺陷点云的矩形包围框， 生成缺陷包围框的XML文件； 根据缺陷点云的矩形包围框， 在RGB图像上绘制除检测缺陷的区域。 6.一种三维点云配准检测装置， 其特征在于， 具备通信交互功能， 接收部件深度图像和 标准的部件深度图像， 可选地， 存储相关数据， 执行所编码的三 维点云配准检测算法。 包括： 将深度图转换为三 维点云模 型； 将采集点云和标准点云使用基于点云FPFH特征的RA NSAC算 法配准到同一 位置； 使用倒角距离判断采集 点云中的异常点， 输出异常点 坐标。 7.一种部件缺陷转换显示装置， 其特征在于， 可以执行显示功能与人机交互功能， 处理 检测得到的缺陷点云坐标， 并将缺陷点可视化为图像上的标准矩形检测框， 包括： 将 检测获 得的异常缺陷三 维点云坐标， 根据相机标定位置， 投影异常三维点云至图像平 面， 生成缺陷 点云投影图像； 使用去噪算法处理异常点云投影图像， 并生成缺陷点云的矩形包围框。 根据 缺陷点云的矩形包围框， 生 成缺陷包围框的XML文件； 根据缺陷点云的矩形包围框， 在RGB图 像上绘制除检测缺陷的区域。权　利　要　求　书 1/1 页 2 CN 114494134 A 2基于部件点 云配准检测的工 业缺陷检测系统 技术领域 [0001]本发明涉及 一种工业部件缺陷检测方法， 特别涉及到利用三维点云数据匹配进行 缺陷检测的方法。 背景技术 [0002]随着人工智能、 机器视觉技术的高速发展， 用机器视觉技术为传统工业赋能， 工业 制造流程智能化是未来工业制造的发展方向。 工业生产中部件的缺陷检测是制造业的主要 业务之一， 在传统方法中制 造业公司采用人工检测的方法， 通过培训一批有掌握专业检测 技能的人完成产品质检工作， 这种方法需要支出大量的人力成本， 并且检测效率受 限于人 的精力， 人工检测无法2 4小时运转。 随着机器视觉的发展， 制造业开始使用基于机器视觉算 法的智能缺陷检测系统来代替人工， 机器视觉检测系统相比于人工检测可明显减少人力成 本投入， 而且不受限于人的精力， 可连续工作， 大大提升了检测效率， 提升企业收益。 但是随 着机器视觉检测系统的广泛应用， 主流的基于二 维图像的机器视觉检测系统遇到了一些问 题： [0003]·生成二维图像 的RGB或黑白相机成像效果受光照影响大。 在全封闭的检测环境 中光源产生的光照较稳定， 但在半开放或全开放的检测 场景中， 光照受周围环 境影响大， 对 成像效果会造成较大影响。 [0004]·成像信息量不足， 二维的RGB或黑白相机仅有能力采集部件垂直相机的一面的 信息， 无法采集部件侧面的结构信息， 检测性能受限。 [0005]·部件的颜色信息会对结构信息造成干扰， 当待检部件被环境影响导致其颜色信 息出现变化时， 例如轨道部件在运行过程中挂冰或挂泥沙时， 缺陷检测系统会过于关注其 挂冰或挂泥沙导 致的颜色信息变化， 而导 致其结构质量信息关注不足。 [0006]基于以上考虑， 本发明针对工业缺陷检测场景， 提出了一种新型缺陷检测系统。 该 系统基于待检部件的三维点云模型， 用立体视觉算法解决部件缺陷检测问题。 本系统首先 采用3D结构光相机采集待检部件的待测三 维模型， 输入为采集待检部件的测试点云及 模板 点云(即标准的无缺陷点云)， 输出为包含缺陷检测框信息的XML文件， 处理过程共包括数据 采集转换、 点云配准、 点云缺陷分割、 点云投影图像、 图像检测框生成这几个数据处理模块。 首先在准备好模板点云的情况下输入测试点云， 根据命名规则 在模板点云中选择与测试点 云对应的模板， 将模板 ‑测试对输入点云配准模块中， 根据配准的结果可直接进行缺陷判 定， 同时根据系统设定， 同时将配准点云映射到二维图像中， 在二维 图像上检测缺陷， 检测 结果以固定的XML格式输出到制定目录。 同已有的系统相比， 本发明可以有效地提高缺陷检 测系统的抗光照干扰能力， 尤其在半开放或开放场景下， 可以明显改善采集的数据数据质 量， 提供高质量的检测效果。 发明内容 [0007]本申请提供一种基于部件点云配准检测的缺陷检测系统， 提供自动化检测工业部说　明　书 1/4 页 3 CN 114494134 A 3