(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221041091 1.6 (22)申请日 2022.04.19 (71)申请人 中山大学 地址 510220 广东省广州市海珠区新港西 路135号 (72)发明人 彭键清　周威　 (74)专利代理 机构 深圳市创富知识产权代理有 限公司 4 4367 专利代理师 高冰 (51)Int.Cl. G06V 30/148(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06T 3/00(2006.01) G06V 10/74(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/24(2022.01) (54)发明名称 一种基于旋转目标检测的万用表读数识别 方法及系统 (57)摘要 本发明公开了一种基于旋转目标检测的万 用表读数识别方法及系统， 该方法包括： 基于改 进的YOLOv5模型对待测图像进行处理， 输 出读数 区域旋转框、 读数区域旋转角度和转换开关旋转 角度； 根据读数区域旋转角度和转换开关旋转角 度， 计算转换开关实际旋转角度； 将转换开关实 际旋转角度与单位匹配信息进行匹配， 得到读数 单位结果； 对读数区域旋转框进行仿射变换并识 别， 得到读数数字结果； 整合读数数字结果与读 数单位结果， 得到完整读数结果。 该系统包括： 检 测模块、 实际旋转角度计算模块、 单位匹配模块、 数字识别模块和读数整合模块。 通过使用本发 明， 可以检测并识别带转换开关万用表任意旋转 角度下的完整读数 结果。 权利要求书2页 说明书7页 附图6页 CN 114743201 A 2022.07.12 CN 114743201 A 1.一种基于 旋转目标检测的万用表读数识别方法， 其特 征在于， 包括以下步骤： 基于改进 的YOLOv5模型对待测图像进行处理， 输出读数区域旋转框、 读数区域旋转角 度和转换开关旋转角度； 根据读数区域旋转角度和转换开关旋转角度， 计算 转换开关实际旋转角度； 将转换开关实际旋转角度与单位匹配信息进行匹配， 得到读数 单位结果； 对读数区域旋转框进行仿射变换并识别， 得到读数 数字结果； 整合读数 数字结果与读数 单位结果， 得到 完整读数 结果。 2.根据权利要求1所述一种基于旋转目标检测的万用表读数识别方法， 其特征在于， 所 述改进的YOLOv5模型的训练步骤具体包括： 获取训练图像并进行旋转框标注， 将旋转框四个角的坐标编码为几何要素， 得到标注 后图像； 对标注后图像进行 数据增强， 得到训练集； 将训练集输入至 YOLOv5模型； 依次进行 特征提取、 特 征融合和边框回归得到 旋转框信息； 结合真实值标签 计算损失对 模型参数进行 更新， 得到改进的YOLOv5模型。 3.根据权利要求2所述一种基于旋转目标检测的万用表读数识别方法， 其特征在于， 所 述旋转框信息包括旋转框的中心 点坐标、 宽高、 角度、 置信度、 偏置信息、 各类别概率和各朝 向类别概 率。 4.根据权利要求1所述一种基于旋转目标检测的万用表读数识别方法， 其特征在于， 所 述改进的YOLOv5模型的检测头 输出公式表示如下： 上式中， nh为检测头数量， bs为输入模型的待测图像数量大小， na为网格单元的预设框 锚点数量， Hi为第i个检测头输出的高， Wi为第i个检测头输出的宽， (x,y)为预测框的中心坐 标， (w,h)为预测框的宽和高， conf为预测目标的置信度， C为预测框属于各个类别的概率， nc为预测的目标类别数量， rj为旋转框回归参数， Ok为目标各朝向类别概 率。 5.根据权利要求1所述一种基于旋转目标检测的万用表读数识别方法， 其特征在于， 所 述将转换开关实际旋转角度与单位匹配信息进行匹配， 得到读数单位结果这一步骤， 具体 包括： 获取单位匹配信息， 得到单位信息数据集和角度信息数据集； 将转换开关实际旋转角度与角度信息数据集进行匹配， 得到角度索引值； 将角度索引值与单位信息数据集进行匹配， 得到读数 单位结果。 6.根据权利要求1所述一种基于旋转目标检测的万用表读数识别方法， 其特征在于， 所 述对读数区域旋转框进行仿射变换并识别， 得到读数 数字结果 这一步骤， 具体包括： 将读数区域旋转框进行仿射变换， 得到水平读数区域图； 所述仿射变换包括对读数区域旋转框进行平 移、 缩放、 旋转、 翻转和错切组合变换； 基于CRNN读数识别模型对水平读数区域图依次进行CNN特征提取、 RNN序列建模和CTC 转录， 得到读数 数字结果。权　利　要　求　书 1/2 页 2 CN 114743201 A 27.根据权利要求6所述一种基于旋转目标检测的万用表读数识别方法， 其特征在于， 所 述仿射变换的矩阵公式如下： 上式中， (x,y)为读数区域旋转框点坐标， (u,v)为读数区域旋转框点经仿射变换后得 到的旋转框点， a0、 a1、 a2、 b0、 b1和b2为M参数， M为仿射变换矩阵。 8.一种基于 旋转目标检测的万用表读数识别系统， 其特 征在于， 包括： 检测模块， 基于改进的YOLOv5模型对待测图像进行处理， 输出读数 区域旋转框、 读数区 域旋转角度和转换开关旋转角度； 实际旋转角度计算模块， 用于根据读数区域旋转角度和转换开关旋转角度， 计算转换 开关实际旋转角度； 单位匹配模块， 用于将转换开关实 际旋转角度与单位匹配信息进行匹配， 得到读数单 位结果； 数字识别模块， 用于对读数区域旋转框进行仿射变换并识别， 得到读数 数字结果； 读数整合模块， 用于整合读数 数字结果与读数 单位结果， 得到 完整读数 结果。权　利　要　求　书 2/2 页 3 CN 114743201 A 3