(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211295987.5 (22)申请日 2022.10.21 (71)申请人 西安科技大 学 地址 710054 陕西省西安市碑林区雁塔中 路58号 (72)发明人 单鹏飞　孙浩强　来兴平　杨攀　 万培烽　 (74)专利代理 机构 西安创知专利事务所 61213 专利代理师 马凤云 (51)Int.Cl. G06V 20/50(2022.01) G06V 20/40(2022.01) G06V 10/30(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01)G06V 10/40(2022.01) G06T 7/254(2017.01) G06T 7/269(2017.01) G06T 1/00(2006.01) (54)发明名称 基于煤矸动态化识别的顶煤放煤口精准闭 合控制方法 (57)摘要 本发明公开了一种基于煤矸动态化识别的 顶煤放煤口精准闭合控制方法， 包括步骤： 一、 煤 矸动态识别模块的安装； 二、 煤矸放落视频影像 的降噪； 三、 降噪后的煤矸放落视频影像的优化 处理； 四、 优化后的煤矸放落视频影像的特征提 取； 五、 利用双光流网络提取不同帧间距的帧间 光流场； 六、 对当前帧进行光流补偿； 七、 对光流 补偿后的当前帧图像特征进行线性预测； 利用 FasterR‑CNN算法对进行煤矸识别分类， 并计算 当前帧的混矸率； 七、 根据平均混矸率控制放煤 口闭合。 本发 明实时检测收集煤矸放落的全程下 落影像， 利用基于双光流网络改进的FasterR ‑ CNN动态视频检测模型对放落煤矸影像实现精准 实时检测， 实现放煤口精准闭合控制。 权利要求书2页 说明书5页 附图2页 CN 115527154 A 2022.12.27 CN 115527154 A 1.一种基于煤矸动态化识别的顶煤放煤口精准闭合控制方法， 其特征在于， 该方法包 括以下步骤： 步骤一、 煤矸动态 识别模块的安装： 在采煤机的掩护梁(3)下方安装高速摄像机(1)， 在掩护梁(3)靠近采空区侧的掩护板 (6)下方安装补光灯组(5)， 高速摄像机(1)与控制终端(7)连接， 控制终端(7)用于控制放煤 顶板千斤顶(4)的伸缩， 以控制放煤口 的开合； 步骤二、 高速摄像机(1)采集煤矸放落视频影像， 对煤矸放落视频影像进行3D降噪处 理， 得到3D降噪处 理后的煤矸 放落视频影 像； 步骤三、 利用k ‑means聚类算法对3D降噪处 理后的煤矸 放落视频影 像进行优化处 理； 步骤四、 利用ResNet50主干特征提取网络对优化处理后的煤矸放落视频影像的当前帧 图像以及其近邻帧图像进行 特征提取； 步骤五、 利用双光流网络提取优化处理后的煤矸放落视频影像的当前帧图像与其近邻 帧图像之间的帧间光 流场， 所述双光 流网络为Fl owNetS光流网络和Fl owNet‑SD光流网络； 步骤六、 利用所述帧间光 流场对当前帧图像特 征进行光 流补偿； 步骤七、 对光流补偿后的当前帧图像特征进行线性预测， 得到光流补偿后的当前帧图 像在线性预测后的当前帧图像特征， 将其作为Faster  R‑CNN算法的输入， 利用Faster  R‑ CNN算法进行煤矸识别分类， 并计算当前帧的混矸 率； 步骤八、 计算每30s煤矸放落视频影像中各帧图像的平均混矸率， 当当前30s的平均混 矸率大于混矸 率阈值时， 控制终端(7)控制放煤顶板千斤顶(4)伸出， 闭合 放煤口。 2.按照权利要求1所述的基于煤矸动态化识别的顶煤放煤口精准闭合控制方法， 其特 征在于： 所述高速摄像机(1)的数量为两个， 其拍摄面均朝向放煤口下方， 两个高速摄像机 (1)的拍摄角度不同， 两个高速摄 像机(1)采集的煤矸 放落视频影 像的处理过程相同； 当两个高速摄像机(1)采集的煤矸放落视频影像均连续时， 步骤七中当前帧的混矸率 为两个高速摄 像机(1)采集的煤矸 放落视频影 像的混矸 率均值； 当任一个高速摄像机(1)采集的煤矸放落视频影像不连续时， 步骤七中当前帧的混矸 率为另一个高速摄 像机(1)采集的连续的煤矸 放落视频影 像的混矸 率。 3.按照权利要求1所述的基于煤矸动态化识别的顶煤放煤口精准闭合控制方法， 其特 征在于： 步骤五中， 利用双光流网络提取所述第二煤矸放落视频影像的当前帧与其近邻帧 之间的帧间光 流场的具体方法为： 根据公式 计算第t帧与第t+τ 帧之间的帧间光流场Mt +τ→t； 其中， FS(*,*)为FlowNetS光流网络,FSD(*,*)为FlowNet ‑SD光流网络； τ表示当前帧图 像It与其近邻帧图像It+τ之间的间距， T1为FlowNetS光流网络中τ 的最小阈值， T2为τ 的最大 阈值。 4.按照权利要求3所述的基于煤矸动态化识别的顶煤放煤口精准闭合控制方法， 其特 征在于： 步骤六中的具体步骤为： 根据公式Ft+τ→t＝warp(Ft+τ,Mt+τ→t)， 获取光流补偿后的当 前帧图像 It的特征Ft+τ→t， 其中， Ft+τ为步骤四中通 过ResNet50主干特征提 取网络提 取后的近 邻帧图像It+τ的特征， warp(*,*)为映射 函数。权　利　要　求　书 1/2 页 2 CN 115527154 A 25.按照权利要求4所述的基于煤矸动态化识别的顶煤放煤口精准闭合控制方法， 其特 征在于： 步骤七中， 对光流补偿后的当前帧图像 It的特征Ft+τ→t进行线性 预测， 得到光流补偿 后的当前帧图像It在线性预测后的当前帧特 征 具体方法为： 步骤701、 根据公式 计算第mn段特征向量的权重 其中， 为光流补偿后的当前帧特征Ft+τ→t的第mn段特征向量， 为通过ResNet50主干特征提 取网络提取后的当前帧特征Ft的第mn段特征向量， m为帧间光流场Mt+τ→t的高， n为帧间光流 场Mt+τ→t的宽， 为 的二范数， 为 的二范数； 步骤702、 根据公式 对线性预测过程中的权重 进行归一 化处理， 得到归一 化处理后的权 重 步骤703、 根据公式 计算光流补偿后 的当前帧在线性预测后的当前帧图像特征 其中， 为Ft+τ→t的二维向量 展开式。权　利　要　求　书 2/2 页 3 CN 115527154 A 3