(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210663261.6 (22)申请日 2022.06.13 (71)申请人 深圳达慧信息技 术有限公司 地址 518000 广东省深圳市福田区华 富街 道莲花一村社区皇岗路5007号彩电总 公司工业大厦(402栋)419 (72)发明人 王志超　 (74)专利代理 机构 深圳市育科知识产权代理有 限公司 4 4509 专利代理师 宋朋慧 (51)Int.Cl. H04N 7/15(2006.01) H04N 7/01(2006.01) G06V 10/75(2022.01) G06V 10/80(2022.01)G06K 9/62(2022.01) (54)发明名称 基于图像处理的会议转播方法、 装置、 设备 及存储介质 (57)摘要 本发明涉及人工智能技术， 揭露了一种基于 图像处理的会议转播方法、 装置、 电子设备及存 储介质， 其中方法， 包括： 对各个会议终端中的实 时视频流进行分帧处理， 得到原始会议视频帧， 对原始会议视频帧进行不同采样处理得到高分 辨参考视频帧、 低分辨率参考视频帧及低分辨率 输入视频帧； 对高分辨参考视频帧、 低分辨率参 考视频帧及低分辨率输入视频帧进行特征信息 匹配转移及特征融合处理， 得到标准化视频会议 融合特征图； 根据标准化视频会议融合特征图， 利用视频帧分辨率增强模块对低分辨率输入视 频帧进行分辨率增强处理， 得到增强视频帧， 合 成并显示增强视频流。 本发明可以解决视频会议 转播时画面分辨 率低的问题。 权利要求书3页 说明书12页 附图4页 CN 114760435 A 2022.07.15 CN 114760435 A 1.一种基于图像处 理的会议 转播方法， 其特 征在于， 所述方法包括： 获取传输至各个会议终端中的实时视频流， 对所述实时视频流进行分帧处理， 得到原 始会议视频帧， 并对所述原始会议视频帧进行下采样得到低分辨率视频帧， 根据预设规则 保留部分所述实时视频流作为高分辨 参考视频帧； 对所述高分辨参考视频帧及所述低分辨率视频帧分别进行采样， 得到低分辨率参考视 频帧及低分辨 率输入视频帧； 对所述高分辨参考视频帧、 所述低分辨率参考视频帧及所述低分辨率输入视频帧进行 特征信息匹配， 得到最佳匹配特征子图集， 并对所述低分辨率输入视频帧及所述最佳匹配 特征子图集进行 特征融合处 理， 得到标准 化视频会议融合特 征图； 根据所述标准化视频会议融合特征图， 利用预设的视频帧分辨率增强模块对所述低分 辨率输入视频帧进行分辨率增强处理， 得到增强视频帧， 将所述增强视频帧合成为增强视 频流； 在所述视频会议的各个会议终端的显示设备中显示所述增强视频流。 2.如权利要求1所述的基于图像处理 的会议转播方法， 其特征在于， 所述对所述高分辨 参考视频帧及所述低分辨率视频帧分别进 行采样， 得到低分辨率参考视频帧及低分辨率输 入视频帧， 包括： 利用预构建的深度反向投影网络对所述高分辨参考视频帧进行下采样， 得到低分辨率 预参考视频帧； 利用所述深度反 向投影网络， 采用与所述高分辨参考视频帧下采样互为倒数的采样倍 率， 对所述低分辨率预参考视频帧及所述低分辨率视频帧同时进行上采样， 得到低分辨率 参考视频帧及低分辨 率输入视频帧。 3.如权利要求1所述的基于图像处理 的会议转播方法， 其特征在于， 所述对所述高分辨 参考视频帧、 所述低分辨率参考视频帧及所述低分辨率输入视频帧进行特征信息匹配， 得 到最佳匹配特征子图集， 并对所述低分辨率输入视频帧及所述最佳匹配特征子图集进 行特 征融合处 理， 得到标准 化视频会议融合特 征图， 包括： 分别提取所述高分辨参考视频帧、 所述低分辨率参考视频帧及所述低分辨率输入视频 帧的图像特征， 得到高分辨参考视频帧特征图、 低分辨率参考视频帧特征图及低分辨率输 入视频帧特 征图； 按照预设拆分规则将所述高分辨参考视频帧特征图、 所述低分辨率参考视频帧特征图 及所述低分辨率输入视频帧特征图分别拆分为高分辨参考视频帧特征子图集、 低分辨率参 考视频帧特 征子图集及低分辨 率输入视频帧特 征子图集； 将所述低分辨率参考视频帧特征子图集与所述低分辨率输入视频帧特征子图集进行 特征信息匹配， 得到第一 最佳匹配特 征子图集； 利用空间位置映射关系在所述高分辨参考视频帧特征子图集中匹配出所述低分辨率 输入视频帧特 征子图集的第二 最佳匹配特 征子图集； 对所述第一最佳匹配特征子图集及所述第二最佳匹配特征子图集进行特征信息重组 及转移， 得到 视频会议 转移特征图； 将所述低分辨率输入视频帧特征图与所述视频会议转移特征图进行特征信息融合并 标准化， 得到标准 化视频会议融合特 征图。权　利　要　求　书 1/3 页 2 CN 114760435 A 24.如权利要求3所述的基于图像处理 的会议转播方法， 其特征在于， 所述将所述低分辨 率参考视频帧特征子图集与所述低分辨率输入视频帧特征子图集进行特征信息匹配， 得到 第一最佳匹配特 征子图集， 包括： 随机选择所述低分辨 率输入视频帧特 征子图集第i个特 征子图， 其中i 为正整数； 计算所述第 i个特征子图与 所述低分辨率参考视频帧特征子图集每个特征子图的特征 相似度； 选择特征相似度最大的低分辨率参考视频帧特征子图作为第 i个特征子图的第 一最佳 匹配特征子图； 返回所述随机选择所述低分辨率输入视频帧特征子 图集第i个特征子 图的步骤， 直至 遍历完所述低分辨率输入视频帧特征子图集中所有特征子图， 得到第一最佳匹配特征子图 集。 5.如权利要求3所述的基于图像处理 的会议转播方法， 其特征在于， 所述将所述低分辨 率输入视频帧特征图与所述视频会议转移特征图进行特征信息融合并标准化， 得到标准化 视频会议融合特 征图， 包括： 利用引导滤波的方法将所述低分辨率输入视频帧特征图与所述视频会议转移特征图 进行特征信息融合， 得到 视频会议融合特 征图； 利用标准差对所述视频会议融合特征图进行特征标准化， 得到标准化视频会议融合特 征图。 6.如权利要求1所述的基于图像处理 的会议转播方法， 其特征在于， 所述根据 所述标准 化视频会议融合特征图， 利用预设的视频帧分辨率增强模块对所述低分辨率输入视频帧进 行分辨率增强处 理， 得到增强视频帧， 包括： 对所述标准化视频会议融合特征图按照级别进行排序， 得到N级标准化视频会议融合 特征图序列， 其中N 为大于1的整数； 利用所述预设的视频帧分辨率增强模块中的不同级别的编码层对所述低分辨率输入 视频帧及所述N级标准化视频会议融合特征图序列中不同级别特征图进行逐级编码和解 码， 得到增强视频帧。 7.如权利要求6所述的基于图像处理 的会议转播方法， 其特征在于， 所述利用所述预设 的视频帧分辨率增强模块中的不同级别的编码层对所述低分辨率输入视频帧及所述N级标 准化视频会议融合特征图序列中不同级别特征图进行逐级编码和 解码， 得到增强视频帧， 包括： 利用所述预设的视频帧分辨率增强模块中的一级编码器对所述低分辨率输入视频帧 进行初步编码， 得到第一编码结果； 对所述第一编码结果与所述标准化视频会议融合特征图的一级标准化视频会议融合 特征图进行维度拼接， 得到第一 拼接特征图； 利用第二编码器对所述第一拼接特征图进行编码， 并对编码结果进行下采样及标准 化， 得到第二编码结果； 对所述第二编码结果与所述标准化视频会议融合特征图的二级标准化视频会议融合 特征图进行维度拼接， 得到第二 拼接特征图； 利用第三编码器对所述第二拼接特征图进行编码， 并对编码结果进行下采样及标准权　利　要　求　书 2/3 页 3 CN 114760435 A 3