(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111634580.6 (22)申请日 2021.12.2 9 (71)申请人 广州市玄武无线科技股份有限公司 地址 510000 广东省广州市天河区体 育西 路103号之一维多利广场B栋32层01单 元房 (72)发明人 周斌　丁明　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 陈旭红　钟文瀚 (51)Int.Cl. G06V 20/40(2022.01) G06T 7/20(2017.01) G06T 7/11(2017.01) G06N 3/08(2006.01)G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种移动前景目标遮挡的视频背景还原方 法及系统 (57)摘要 本发明提供一种移动前景目标遮挡的视频 背景还原方法及系统， 其中方法包括： 获取待处 理的视频， 并对所述视频进行解码， 得到视频帧 图片集； 其中， 所述视频帧图片集中包括所述视 频中每一帧的图片， 将所述视频中每一帧的图片 定义为视频帧图片； 通过像素级目标跟踪算法对 所述视频帧图片进行处理， 直到完成视频帧图片 集中的每张视频帧图片的处理， 并输出背景图 片。 本发明基于像素级目标跟踪算法， 在目标移 动时候实时还原目标遮挡的像素区域， 同时更新 未遮挡的背景像素， 通过算法 处理能够还原一张 没有前景目标遮挡的背景图， 有利用后续背景目 标的检测 和分析。 权利要求书2页 说明书8页 附图3页 CN 114445736 A 2022.05.06 CN 114445736 A 1.一种移动前 景目标遮挡的视频背景还原方法， 其特 征在于， 包括： 获取待处理的视频， 并对所述视频进行解码， 得到视频帧图片集； 其中， 所述视频帧图 片集中包括所述视频中每一帧的图片， 将所述视频中每一帧的图片定义 为视频帧图片； 通过像素级目标跟踪算法对所述视频帧图片进行处理， 直到完成视频帧图片集中的每 张视频帧图片的处 理， 并输出背景图片。 2.如权利要求1所述的一种移动前景目标遮挡的视频背景还原方法， 其特征在于， 所述 通过像素级目标跟踪算法对所述视频帧图片进行处 理， 包括： 根据所述视频的场景内容定义至少两个前 景目标； 对所述前景目标进行跟踪， 将跟踪结果作为当前的前景区域目标， 并根据所有的前景 区域目标建立跟踪列表； 对所述视频帧图片进行所述前景区域目标的检测， 若检测出不属于所述跟踪列表中的 前景区域 目标， 则将新检测得到的前景目标作为前景区域 目标添加至所述跟踪列表中， 以 更新所述跟踪列表； 输出所有的所述前 景区域目标作为所述视频帧图片的背景区域； 将所述视频的第一帧的视频帧图片作为背景图片； 根据所述背景图片及所述背景区域得到所述背景图片与所述背景区域的交集区域及 属于所述背景区域但不属于所述背景区域的区域； 将所述属于所述背景区域但不属于所述背景区域的区域作为母版图片， 并将所述母版 图片通过拉普拉斯金字塔融合方法填入所述背景区域。 3.如权利要求2所述的一种移动前景目标遮挡的视频背景还原方法， 其特征在于， 所述 对所述视频帧图片进行 所述前景区域目标的检测， 包括： 计算所述将新检测得到的前景目标和所述属于所述跟踪列表中的前景区域目标的 Mask IOU值； 若所述Mask  IOU值大于0.3， 则所述新检测得到的前景目标与所述属于所述跟踪列表 中的前景区域目标为统一目标； 若所述Mask  IOU值小于0.3， 则所述新检测得到的前景目标为不属于所述跟踪列表中 的前景区域目标。 4.如权利要求3所述的一种移动前景目标遮挡的视频背景还原方法， 其特征在于， 所述 Mask IOU值通过以下公式计算： 其中， A为新检测得到的前景目标的像素点， B为属于跟踪列表中的前景区域目标的像 素点， A∩B为新检测得到的前景目标与属于跟踪列 表中的前景区域目标的相交 区域的像素 点， A∪B为新检测得到的前 景目标与属于跟踪列表中的前 景区域目标的总像素点。 5.如权利要求2所述的一种移动前景目标遮挡的视频背景还原方法， 其特征在于， 所述 根据所述视频的场景内容定义至少两个前 景目标之后， 包括： 将所述前 景目标进行mask标注， 并将标注后的前 景目标通过mask检测器进行训练。 6.一种移动前 景目标遮挡的视频背景还原系统， 其特 征在于， 包括： 解码模块， 用于获取待处理的视频， 并对所述视频进行解码， 得到视频帧图片集； 其中，权　利　要　求　书 1/2 页 2 CN 114445736 A 2所述视频帧图片集中包括所述视频中每一帧的图片， 将所述视频中每一帧的图片 定义为视 频帧图片； 视频背景还原模块， 用于通过像素级目标跟踪算法对所述视频帧图片进行处理， 直到 完成视频帧图片集中的每张视频帧图片的处 理， 并输出背景图片。 7.如权利要求6所述的一种移动前景目标遮挡的视频背景还原系统， 其特征在于， 所述 视频背景还原模块， 还用于： 根据所述视频的场景内容定义至少两个前 景目标； 对所述前景目标进行跟踪， 将跟踪结果作为当前的前景区域目标， 并根据所有的前景 区域目标建立跟踪列表； 对所述视频帧图片进行所述前景区域目标的检测， 若检测出不属于所述跟踪列表中的 前景区域 目标， 则将新检测得到的前景目标作为前景区域 目标添加至所述跟踪列表中， 以 更新所述跟踪列表； 输出所有的所述前 景区域目标作为所述视频帧图片的背景区域； 将所述视频的第一帧的视频帧图片作为背景图片； 根据所述背景图片及所述背景区域得到所述背景图片与所述背景区域的交集区域及 属于所述背景区域但不属于所述背景区域的区域； 将所述属于所述背景区域但不属于所述背景区域的区域作为母版图片， 并将所述母版 图片通过拉普拉斯金字塔融合方法填入所述背景区域。 8.如权利要求7所述的一种移动前景目标遮挡的视频背景还原系统， 其特征在于， 所述 视频背景还原模块， 还用于： 计算所述将新检测得到的前景目标和所述属于所述跟踪列表中的前景区域目标的 Mask IOU值； 若所述Mask  IOU值大于0.3， 则所述新检测得到的前景目标与所述属于所述跟踪列表 中的前景区域目标为统一目标； 若所述Mask  IOU值小于0.3， 则所述新检测得到的前景目标为不属于所述跟踪列表中 的前景区域目标。 9.如权利要求8所述的一种移动前景目标遮挡的视频背景还原系统， 其特征在于， 所述 Mask IOU值通过以下公式计算： 其中， A为新检测得到的前景目标的像素点， B为属于跟踪列表中的前景区域目标的像 素点， A∩B为新检测得到的前景目标与属于跟踪列 表中的前景区域目标的相交 区域的像素 点， A∪B为新检测得到的前 景目标与属于跟踪列表中的前 景区域目标的总像素点。 10.如权利要求7所述的一种移动前景目标遮挡的视频背景还原系统， 其特征在于， 所 述视频背景还原模块， 还用于： 将所述前 景目标进行mask标注， 并将标注后的前 景目标通过mask检测器进行训练。权　利　要　求　书 2/2 页 3 CN 114445736 A 3