(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111634427.3 (22)申请日 2021.12.2 9 (71)申请人 北京立思 辰智汇科技有限公司 地址 100000 北京市东城区东打磨厂街3号 楼7层712室 (72)发明人 许伟村　曹强大　苏敏敏　吴丁超　 姚昌金　倪晓丽　程雪丽　 (74)专利代理 机构 成都华辰智合知识产权代理 有限公司 513 02 代理人 秦华云 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/764(2022.01) (54)发明名称 一种飞机 轮档时间自动检测系统及方法 (57)摘要 本发明公开了一种飞机轮档时间自动检测 系统， 其特征在于： 包括停机位位置框、 摄像监控 装置、 检测网络模块以及分类网络模块。 本发明 通过摄像机对停机位位置框区域内进行摄像拍 摄， 检测网络模块则对摄像监控装置所拍摄的视 频流图像进行检测， 并 能确定飞机前轮在画面中 的位置， 再将飞机前轮附近区域检测到的工作人 员图像切片发送至分类网络模块来判定工作人 员当前是否为手持轮档状态， 并根据分类结果判 定是否开始进行上轮档作业 或撤轮档 作业， 从而 能自动采集、 记录和上报轮挡作业时间， 并能防 止出现工作人员忘记挡轮挡的情况 发生， 因此给 航班运行保障管理和泊位安全管理带来极大地 便利。 权利要求书2页 说明书5页 附图2页 CN 114266999 A 2022.04.01 CN 114266999 A 1.一种飞机轮档时间自动检测系统， 其特征在于： 包括停机位位置框、 摄像监控装置、 检测网络模块以及分类网络模块， 摄像监控装置和分类网络模块分别与检测网络模块连 接； 摄像监控装置包括摄像机， 摄像机对应停机位位置框区域设置并对停机位位置框区域 内进行摄像拍摄； 所述检测网络模块对摄像监控装置所拍摄的视频流图像进 行检测并判定 飞机是否已入位； 分类网络模块则对检测网络模块检测到的飞机前轮附近区域工作人员的 图像切片判定工作人员当前是否为手持轮档状态， 进而判定是否进行上轮档作业或撤轮档 作业， 并将判定结果发送至检测网络模块。 2.按照权利要求1所述的一种飞机轮档时间自动检测系统， 其特征在于： 还包括与检测 网络模块连接的停机位状态模块， 所述停机位状态模块根据检测网络模块判定的飞机是否 已入位的结果记录相应的停机位状态， 停机位状态包括空闲状态和占用状态两种， 即飞机 已入位则记录为占用状态。 3.按照权利要求1或2所述的一种飞机轮档时间自动检测系统， 其特征在于： 所述检测 网络模块内部具有检测神经网络模型， 检测神经网络模型接收到摄像监控装置采集的视频 流图像并在视频流图像上划设出停机位检测框， 该停机位检测框与摄像监控装置布设相关 联， 停机位检测框与停机位位置框相对应， 检测神经网络模型接 收摄像监控装置的视频流 图像并根据特 征提取得到飞机检测框、 飞机前轮 检测框以及工作人员检测框 。 4.按照权利要求3所述的一种飞机轮档时间自动检测系统， 其特征在于： 所述检测神经 网络模型包括检测卷积神经网络， 检测卷积神经网络根据样本标注、 神经网络飞机识别训 练而得到， 样本标注、 神经网络飞机识别训练基于YOLO  V4算法进行处理； 所述检测卷积神 经网络所训练的样本数据包含低能见度天气所采集的图像不低于10％， 低能见度天气包括 雨、 雪、 雾 。 5.按照权利要求3所述的一种飞机轮档时间自动检测系统， 其特征在于： 还包括与检测 网络模块连接的跟踪装置， 所述跟踪装置用于记录检测网络模块检测到的工作人员检测框 与飞机前轮检测框相重合的轨迹， 然后判断得出工作人员检测框与飞机前轮检测框重叠区 域的大小， 并将判断结果发送至检测网络模块。 6.按照权利要求4或5所述的一种飞机轮档时间自动检测系统， 其特征在于： 所述检测 神经网络模型接 收摄像监控装置的视频流图像并根据特征提取得到飞机的对接或脱离状 态， 并将该状态记录在停机位状态模块中， 飞机的对接状态为飞机与廊桥或客梯车对接的 状态， 飞机的脱离状态为飞机与廊桥或客梯车脱离的状态。 7.一种飞机轮档时间自动检测方法， 其特 征在于： 其方法如下： A、 检测网络模块检测停机位状态后判定飞机是否已入位， 停机位状态则记入停机位状 态模块中； B、 当飞机已入位且飞机与廊桥或客梯车完成对接后检测网络模块进行上轮档检测， 分 类网络模块则对检测网络模块检测到的飞机前轮附近区域工作人员的图像切片判定工作 人员当前 是否为手持轮档状态； C、 当工作人员为手持轮档状态， 分类网络模块则判定为开始上轮档作业， 并将判定结 果发送至检测网络模块； 上轮档作业开始M分钟后且飞机与廊桥或客梯车脱离后检测网络 模块开始进行撤轮档检测， 分类网络模块则对检测网络模块检测到的飞机前轮附近区域工 作人员的图像切片判定 工作人员当前 是否为手持轮档状态； M分钟为系统预设时间；权　利　要　求　书 1/2 页 2 CN 114266999 A 2D、 当工作人员从未手持轮档状态变为手持轮档状态， 分类网络模块则判定开始撤轮档 作业， 并将判定结果发送至检测网络模块。 8.按照权利要求7所述的一种飞机轮档时间自动检测方法， 其特征在于： 步骤A中当停 机位状态为空闲时， 若检测网络模块检测到飞机与 停机位检测框的重合面积达到飞机检测 框面积的70％以上， 且飞机停止时间超过10秒， 则判定飞机已入位， 并将停机位状态记 为占 用状态。 9.按照权利要求7或8所述的一种飞机轮档时间自动检测方法， 其特征在于： 步骤B中的 上轮档检测与步骤C中的撤轮档检测的过程为： 检测网络模块对飞机前轮和工作人员的位 置进行检测， 跟踪装置则跟踪记录工作人员检测框与飞机前轮检测框相重合的轨迹并判断 得出工作人员检测框与飞机前轮检测框重叠区域的大小， 若工作人员检测框与前轮检测框 的重合面积大于前轮检测框面积的10％， 检测网络模块则将提取到的飞机前轮附近区域工 作人员检测框的图像切片发送至分类网络模块。 10.按照权利要求8所述的一种飞机轮档时间自动检测方法， 其特征在于： 步骤B与步骤 C中分类网络模块接收到网络模块提取到的工作人员检测框的视频图像信息后根据视频图 像信息中所显示的工作人员当前的状态判定工作人员是否为手持轮档状态， 若工作人员手 提轮档则判定为手持轮档状态， 否则判定为未手持轮档状态。权　利　要　求　书 2/2 页 3 CN 114266999 A 3