(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210030791.7 (22)申请日 2022.01.12 (71)申请人 北京轩宇空间科技有限公司 地址 101318 北京市顺 义区高丽营镇文化 营村北(临 空二路1号) (72)发明人 王礼祥　申莉　郭旦怀　朱肖伟　 (74)专利代理 机构 成都诚中致达专利代理有限 公司 51280 专利代理师 曹宇杰 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/31(2019.01) G06F 16/51(2019.01) (54)发明名称 一种故障树图片的故障知识图谱自动创建 方法及装置 (57)摘要 本发明提供一种故障树图片的故障知识图 谱自动创建方法及装置， 方法包括： 对复杂装备 故障知识图谱进行知识建模， 定义实体类型、 关 系类型和属性； 对故障树图片进行灰度化、 二值 化和形态学处理； 将图像分割成若干不相交的检 测区域， 识别检测区域的中心点坐标； 识别检测 区域内容， 将故障事件和事件代号一一对应， 完 成实体抽取； 基于识别的检测区域内容和检测区 域中心点坐标， 完成实体之间的关系抽取； 将实 体和关系转化成结构化三元 组， 建立故障知 识图 谱， 存储在图数据库； 对故障知识图谱进行汇聚 融合； 利用知识图谱进行根因分析、 故障影响分 析。 本发明可以有效解决手工获取大规模知 识困 难的问题， 实现多 源异构知识的汇聚融合。 权利要求书3页 说明书8页 附图5页 CN 114443856 A 2022.05.06 CN 114443856 A 1.一种故障树图片的故障知识图谱自动创建方法， 其特 征在于， 包括 步骤： S1： 对复杂装备故障知识图谱进行知识建模， 定义实体 类型、 关系类型和 属性； S2： 对读取的故障树 图片进行图像预处理， 包括灰度化、 二值化和形态学处理， 以将检 测目标凸显出来； S3： 将图像分割成若干不相交的检测区域， 并识别检测区域的中心点 坐标； S4： 利用光学字符识别技术识别检测区域内容， 并将 故障事件和事件代号一一对应， 完 成实体抽取； S5： 基于识别的检测区域内容和检测区域中心点 坐标， 完成实体之间的关系抽取； S6： 将实体和关系转 化成结构化 三元组， 建立故障知识图谱， 存 储在图数据库； S7： 对多张故障树图片自动创建的故障知识图谱进行汇聚融合； S8： 对融合的故障知识图谱进行可视化展示， 利用知识图谱进行根因分析、 故障影响分 析。 2.根据权利要求1所述的故障树图片的故障知识图谱自动创建方法， 其特征在于， S2： 对故障树图片进行图像预处理， 包括灰度化、 二值化和形态学处理， 以将检测目标凸显出 来， 包括如下步骤： S21： 读取故障树图片； S22： 对故障树图片进行灰度化处理， 以将故障树图片中的每一个像素点值都变成 Gray (i，j)； S23： 对灰度化处理后的故障树图片进行二值化处理， 将图像上的像素点的灰度值设置 为0或255； S24： 对二值化处理的故障树图片进行形态学处理， 具体是对二值化图像进行开运算和 闭运算， 开运算是先腐蚀后膨胀， 闭运 算是先膨胀后腐蚀。 3.根据权利要求1所述的故障树图片的故障知识图谱自动创建方法， 其特征在于， S3： 将图像分割成若干不相交的检测区域， 并识别检测区域的中心点 坐标， 包括如下步骤： S31： 基于图像处 理中的轮廓提取算法， 提取目标检测区域轮廓和 属性； S32： 遍历所有目标检测区域轮廓， 计算每一个轮廓的面积， 并筛选掉面积小于预定面 积阈值的区域； S33： 计算目标检测区域的轮廓长度， 并利用多边形逼近方法获取目标检测区域的近似 轮廓； S34： 利用最小矩形面积方法获取近似轮廓的矩形， 数量为 k1， 并确定矩形四个角和中心 点的坐标； S35： 根据矩形长和宽的比例筛选掉形状窄度小于预定窄度阈值的目标检测区域， 剩余 目标检测区域的数量 为k2，k2≤k1； S36： 利用图形绘制方法将目标检测区域用矩形框进行切分并按照顺序索引保存， 索引 值为[0，k2‑1]。 4.根据权利要求3所述的故障树图片的故障知识图谱自动创建方法， 其特征在于， S4： 利用光学字符识别技术识别检测区域内容， 并将故障事件和事件代号一一对应， 完成实体 抽取， 包括如下步骤： S41： 基于pytesseract循环识别S36中矩形框中的文字， 并按照顺序索引以字典形式保权　利　要　求　书 1/3 页 2 CN 114443856 A 2存识别的文字内容； S42： 将具有相同键值的元 素放在一个列表中， 并将列表中的元 素进行合并； S43： 将纵坐标差值小于预定近似阈值的矩形框进行合并， 并筛选掉含有 “门”字的矩形 框， 并将合并内容定义为{key:  value}的字典形式， 其中key为故障输入事件代号， value为 故障输入 事件； S44： 在所识别的内容距离小于预定间距阈值时， 将多个故障输入事件合并到同一个矩 形框中， 根据正则表达式区分不同的故 障输入事件， 并根据S43中key所对应的故 障输入事 件代号的纵坐标确定剩余的故障输入事件代号， 并将故障输入事件与故障输入事件代号一 一对应， 完成实体抽取。 5.根据权利要求4所述的故障树图片的故障知识图谱自动创建方法， 其特征在于， S5： 基于识别的检测区域内容和检测区域中心点坐标， 完成实体之间的关系抽取， 包括如下步 骤： S51： 统计目标检测区域中逻辑门的数量 n； S52： 找到与对应逻辑门纵坐标差值小于预定相近阈值的故障输出事件， 将逻辑门和故 障输出事 件存储在列表 Li(1≤i≤n)中； S53： 根据目标检测区域横坐标之间的关系， 确定故障事件是否同时输入到一个逻辑门 中， 将输入到同一逻辑门中的故障事件存储在同一个列表中 Lj(1≤j≤(k2‑n)/2)， 其中 j代 表初始故障输入 事件的数量； S54： 根据S52中 Li的故障输出事件的横坐标确定每一个逻辑门和故障输出事件所对应 的故障输入 事件。 6.根据权利要求5所述的故障树图片的故障知识图谱自动创建方法， 其特征在于， S6： 将实体和关系转 化成结构化 三元组， 建立故障知识图谱， 存 储在图数据库， 包括如下步骤： S61： 连接Neo 4j图数据库； S62： 根据正则匹配， 分别创造故障模式、 逻辑门和故障影响的节点； S63： 根据S54中的列表， 创建故障模式和逻辑门、 逻辑门与故障影响之间的关系， 以建 立故障知识图谱， 并存 储在图数据库中。 7.根据权利要求1所述的故障树图片的故障知识图谱自动创建方法， 其特征在于， S7： 对多张故障树图片自动创建的故障知识图谱进行汇聚融合， 包括如下步骤： S71： 对多张故障树图片重 复执行S1~S6， 获得不同故障树图片的故障知识图谱， 并将其 存储在图数据库中； S72： 利用Levenshtein算法计算实体之间的相似度， 对相似度超过阈值的实体进行融 合， 得到修 正后的故障知识图谱。 8.一种故障树图片的故障知识图谱自动创建装置， 其特 征在于， 包括： 建模定义模块， 用于对复杂装备故障知识图谱进行知识建模， 定义实体类型、 关系类型 和属性； 预处理模块， 用于对读取的故障树图片进行图像预处理， 包括灰度化、 二值化和形态学 处理， 以将检测目标凸显出来； 分割识别模块， 用于将图像分割成若干不相交的检测区域， 并识别检测区域的中心点 坐标；权　利　要　求　书 2/3 页 3 CN 114443856 A 3