(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210971868.0 (22)申请日 2022.08.15 (65)同一申请的已公布的文献号 申请公布号 CN 115063661 A (43)申请公布日 2022.09.16 (73)专利权人 广州思涵信息科技有限公司 地址 510635 广东省广州市天河区瘦狗岭 路563号2108、 2109室 (72)发明人 陈泽生　谢建国　廖信海　钟金顺　 李昊　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06V 10/80(2022.01)G06V 10/10(2022.01) G06T 7/33(2017.01) (56)对比文件 WO 201917693 0 A1,2019.09.19 WO 20101 18685 A1,2010.10.21 审查员 郑明月 (54)发明名称 一种智慧教学空间下的多 源图像融合方法 (57)摘要 本发明公开一种智慧教学空间下的多源图 像融合方法， 包括以下步骤： S1： 获取教学空间的 多源图像， 所述多源图像能交叉完整的拍摄到教 学空间的学生座位区域； S2： 对获得的多源 图像 进行预处理， 去除多源图像中不包含座位且没有 相同位置点的位置； S3： 对步骤S2处理后的多源 图像进行图像特征点提取； S4： 根据提取到的图 像特征点对多源图像进行图像配准； S5： 对 图像 配准后的多源图像进行图像拼接融合， 得到融合 后的图像。 本发 明可以有效减少非同源图像之间 识别后的重复数据干扰， 大幅降低人工智能计算 资源的需要， 从而使 得课堂教学质量分析更容易 成功落地。 权利要求书3页 说明书8页 附图3页 CN 115063661 B 2022.11.29 CN 115063661 B 1.一种智慧教学空间下的多源图像融合方法， 其特 征在于， 包括以下步骤： S1： 获取教学空间的多源图像， 所述多源图像能交叉完整的拍摄到教学空间的学生座 位区域； S2： 对获得的多源图像进行预处理， 去除多源图像中不包含座位且没有相同位置点的 位置； S3： 对步骤S2处 理后的多源图像进行图像特 征点提取； S4： 根据提取到的图像特 征点对多源图像进行图像 配准； S5： 对图像 配准后的多源图像进行图像拼接融合， 得到融合后的图像； 所述步骤S1具体为： 教学空间分为前部和后部， 其中， 学生座位区域位于教学空间的后部， 在教学空间的前 部对称设置有两台摄像机， 对称设置的两台摄像机能交叉完整的拍摄到教学空间的学生座 位区域； 所述步骤S2中对获得的多源图像进行 预处理， 具体为： 令教学空间前部左方摄像机获取的教学空间区域边界为AB， 教学空间前部右方摄像机 获取的教学空间区域 边界为CD， AB与CD的交点 为E， 得到 E点的像素坐标； 根据E点， 求得左方摄像机获取的图像在E点的水平线上最左边的G点像素坐标和右方 摄像机获取的图像在E点的水平线 上最右边的H点像素坐标， 保存E、 G、 H的像素坐标位置， 且 E点的水平线将教学空间分为前部和后部； 确定F点， 线段EF将教学空间后部划分为左右对称的两 部分； 对于左方摄 像头获取的图像， 按照水平线GE 裁剪掉位于教学空间前部的区域； 对于右方摄 像头获取的图像， 按照水平线E H裁剪掉位于教学空间前部的区域； 对于左方摄像头裁剪后的图像， 再把线段EF+N像素以右的区域裁剪去除； 对右方摄像 头裁剪后的图像， 再把线段EF ‑N像素以左的区域裁 剪去除。 2.根据权利要求1所述的智慧教学空间下的多源图像融合方法， 其特征在于， 所述多源 图像与学 校的基础数据信息关联， 包括学院、 班级和课程内容。 3.根据权利要求1述的智慧教学空间下的多源图像 融合方法， 其特征在于， 所述步骤S3 中使用SIFT算法对步骤S2处 理后的多源图像进行图像特 征点提取， 具体为： a)构建尺度空间， 把 二维图像的尺度空间定义 为： 式中， I(x,y)  表示输入的图片， 是尺度可变高斯 函数： （x， y） 是空间坐标也是尺度坐标， σ 大小决定图像的平 滑程度； b) 图像金字塔的建立： 对于一幅图像I， 建立其在不同尺度的图像， 也成为子八度， 第 一个子八度的尺寸为原图大小， 后面每个子八度为上一个子八度降采样的结果， 即原图的 1/4， 长宽分别减半， 构成下一个子八度； c) 找到特征点： 检测尺度空间极值点， 使中间的检测点和它同尺度的8个相邻点和上 下相邻尺度对应的9 ×2个点共26个点比较， 如果在尺度空间本层以及上下两层的26个领域权　利　要　求　书 1/3 页 2 CN 115063661 B 2中是最大或最小值时， 就认为该中间的检测点是图像在该尺度下 的一个特征点， 在极值比 较的过程中， 在每一组图像的顶层继续用高斯模糊生 成了 3 幅图像， 高斯金字塔有每组S+ 3层图像； d) 除去不好的特征点： 去掉DoG局部曲率不对称的像素， 使用近似Harris  Corner检测 器， 空间尺度函数泰勒展开式如 式中， D(X)表示高斯差分尺度空间， ， 对上式求导， 并令其为0， 得到精确的 位置： 把x代入空间尺度函数泰勒展开式， 取 前两项： 如果D(x)>0.0 3则留下， 否则丢弃； e) 给特征点赋方向参数： 为d） 确认的每个特征点计算一个方向， 依照这个方向做进一 步的计算， 利用关键点邻域像素的梯度方向分布特性 为每个特征点指定方向参数： 式中， 为(x,y)处梯度的模值， 为(x,y)处梯度的方向， L所用的尺度为每个特 征点各自所在的尺度； f） 每个特征点有三个信息： 位置、 所处尺度和方向， 由此可以确定一个SIFT特征区域， 在以关键点为中心取8 ×8的窗口， 每个小格代表关键点邻域所在尺度 空间的一个像素， 求 得每个像素 的梯度幅值与梯度方向， 箭头方向代表该像素 的梯度方向， 箭头长度代表梯度 模值， 然后用高斯窗口对其进行加权运 算； 然后在每4 ×4的小块上计算8个方向的梯度 方向直方图， 绘制每个梯度 方向的累加值， 即可形成一个种子点， 每个种子点有8个方向向量信息， 对每个特征就形成一个4*4*8=128 维的描述子， 每一维 都可以表示 4*4个格子中一个的尺度或者方向。 4.根据权利要求3所述的智慧教学空间下的多源图像融合方法， 其特征在于， 所述步骤 S4具体为： 步骤S3中生成了两个摄像头获取的图像的描述子， 将两个图像中各个尺度的描述子进 行匹配， 匹配上128维即可表示两个特征点匹配上了， 取其中一个图像中的某个关键点， 并 找出其与另一个图像中欧式距离最近的前两个关键点， 在这两个关键点中， 如果最近的距 离除以次近的距离少于比例阈值， 则接受这 一对匹配点。 5.根据权利要求4所述的智慧教学空间下的多源图像融合方法， 其特征在于， 所述步骤 S5具体为： 根据步骤S4匹配好两个图像的特征点后， 计算一个图像到另一个图像的投影映射矩 阵：权　利　要　求　书 2/3 页 3 CN 115063661 B 3