(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210163683.7 (22)申请日 2022.02.22 (71)申请人 锐芯微电子股份有限公司 地址 215301 江苏省苏州市昆山市开发区 创业路1588号象屿两岸贸易中心7号 楼1810室 (72)发明人 陈炜　池国泉　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张凤伟　吴敏 (51)Int.Cl. H04N 5/232(2006.01) H04N 9/04(2006.01) (54)发明名称 图像处理方法及装置、 系统、 可读存 储介质 (57)摘要 一种图像处理方法及装置、 系统、 可读存储 介质。 所述方法包括： 获取原始马赛克图像； 所述 原始马赛克图像来自第一图像传感器； 对所述原 始马赛克图像中的可见光像素执行插值操作， 得 到完整可见光图像， 以及对所述原始马赛克图像 中的近红外光像素执行插值操作， 得到完整近红 外光图像； 将所述完整可见光图像及所述完整近 红外光图像进行图像融合， 得到融合图像； 所述 第一图像传感器的像素阵列中， 一半像素为可见 光像素， 另 一半像素为近红外光像素； 在所述像 素阵列的水平方向上， 所述可见光像素与所述近 红外光像素间隔排布， 竖直方向上， 所述可见光 像素与所述近红外光像素间隔排布。 采用上述方 案， 可以较低的成本得到高分辨 率的融合图像 。 权利要求书3页 说明书13页 附图7页 CN 114500850 A 2022.05.13 CN 114500850 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取原始马赛克图像； 所述原 始马赛克图像来自第一图像传感器； 对所述原始马赛克图像中的可见光像素执行插值操作， 得到完整可见光图像， 以及对 所述原始马赛克图像中的近红外光像素 执行插值操作， 得到 完整近红外光图像； 将所述完整可 见光图像及所述完整近红外光图像进行图像融合， 得到融合图像； 其中， 所述第 一图像传感器的像素阵列中， 一半像素为可见光像素， 另一半像素为近红 外光像素； 并且， 在所述像素阵列的水平方向上， 所述可见光像素与所述近红外光像素间隔 排布； 在所述像素阵列的竖直方向上， 所述可 见光像素与所述近红外光像素间隔排布。 2.如权利要求1所述的图像处理方法， 其特征在于， 采用以下方法对所述原始马赛克图 像中任一待插值像素 执行插值操作， 包括： 计算所述待插值像素的水平梯度值及竖直梯度值； 计算所述水平梯度值及竖直梯度值之间的第一差值； 当所述第一差值的绝对值大于预设差值阈值时， 按照边 缘方向执 行插值操作； 当所述第一差值的绝对值小于或等于所述预设差值阈值 时， 计算所述待插值像素的平 均竖直梯度值及平均水平梯度值， 基于所述平均竖直梯度值及平均水平梯度值的大小， 按 照边缘方向执 行插值操作； 其中， 所述待插值像素为可 见光像素或近红外光像素。 3.如权利要求2所述的图像处理方法， 其特征在于， 计算所述待插值像素的水平梯度值 及竖直梯度值， 包括： 确定以所述待插值像素为中心的第 一图像块， 结合所述第 一图像块内各可见光像素和 近红外光像素， 计算所述待插值像素的水平梯度值及竖直梯度值。 4.如权利要求2所述的图像处理方法， 其特征在于， 所述当所述第 一差值的绝对值大于 预设差值阈值时， 按照边 缘方向执 行插值操作， 包括： 当所述第一差值为正数时， 判定当前边缘方向为竖直方向， 并按照竖直方向执行插值 操作； 当所述第一差值为负数时， 判定当前边缘方向为水平方向， 并按照水平方向执行插值 操作。 5.如权利要求2所述的图像处理方法， 其特征在于， 所述计算所述待插值像素的平均 竖 直梯度值及平均水平梯度值， 包括： 确定以所述待插值像素为中心的第 二图像块， 结合所述第 二图像块内各可见光像素和 近红外光像素， 计算所述待插值像素的平均竖直梯度值及平均水平梯度值。 6.如权利要求5所述的图像处理方法， 其特征在于， 结合所述第 二图像块内各可见光像 素和近红外光像素， 计算所述待插值像素的平均水平梯度值， 包括： 利用相互水平翻转对称的第 一滤波器及第 二滤波器， 分别对所述第 二图像块各像素进 行逐像素对应相乘并求和操作， 得到第一 求和结果和第二 求和结果； 对所述第一求和结果和第二求和结果分别取绝对值后， 再执行相加操作， 得到第一相 加结果； 对所述第一相加结果执 行归一化操作， 得到所述待插值像素的平均水平梯度值； 其中， 所述第一滤波器及第二滤波器的大小， 与所述第二图像块的大小相同。权　利　要　求　书 1/3 页 2 CN 114500850 A 27.如权利要求6所述的图像处理方法， 其特征在于， 所述第 一滤波器及第 二滤波器的系 数， 是基于所述第二图像块内每一列各像素 出现的次数确定的。 8.如权利要求6所述的图像处 理方法， 其特 征在于， 所述第一滤波器的系数为： 所述第二滤波器的系数为： 9.如权利要求5所述的图像处理方法， 其特征在于， 结合所述第 二图像块内各可见光像 素和近红外光像素， 计算所述待插值像素的平均竖直梯度值， 包括： 利用相互竖直翻转对称的第 三滤波器及第四滤波器， 分别对所述第 二图像块各像素进 行逐像素对应相乘并求和操作， 得到第三 求和结果和第四求和结果； 对所述第三求和结果和第 四求和结果分别取绝对值后， 再执行相加操作， 得到第二相 加结果； 对所述第二相加结果执 行归一化操作， 得到所述待插值像素的平均竖直梯度值； 其中， 所述第三滤波器及第四滤波器的大小， 与所述第二图像块的大小相同。 10.如权利要求9所述的图像处理方法， 其特征在于， 所述第三滤波器及第四滤波器的 系数， 是基于所述第二图像块内每一行 各像素出现的次数确定的。 11.如权利要求9所述的图像处 理方法， 其特 征在于， 所述第三滤波器的系数为： 所述第四滤波器的系数为： 12.如权利要求2所述的图像处理方法， 其特征在于， 所述基于所述平均竖直梯度值及 平均水平梯度值的大小， 按照边 缘方向执 行插值操作， 包括： 当所述平均 竖直梯度值大于或等于所述平均水平梯度值 时， 判定当前边缘方向为水平 方向， 并按照水平方向执 行插值操作； 当所述平均竖直梯度值小于所述平均水平梯度值时， 判定当前边缘方向为竖直方向， 并按照竖直方向执 行插值操作。 13.如权利要求1所述的图像处理方法， 其特征在于， 所述第 一图像传感器中， 每个所述 可见光像素都适于接 收全部白光可见光， 而不接 收近红外光； 每个所述近红外光像素只接 收近红外光。 14.如权利要求1至13任一项所述的图像处理方法， 其特征在于， 所述将所述完整可见 光图像及所述完整近红外光图像进行图像融合， 得到融合图像， 包括：权　利　要　求　书 2/3 页 3 CN 114500850 A 3