(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210923135.X (22)申请日 2022.08.02 (71)申请人 中国科学院上海微系统与信息技 术 研究所 地址 200050 上海市长 宁区长宁路865号 (72)发明人 谭智勇　阮海航　曹俊诚　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 专利代理师 牛莎莎 (51)Int.Cl. G06T 9/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 图像编码方法及图像处 理方法、 终端及 介质 (57)摘要 本发明提供了一种图像编码方法及 图像处 理方法、 终端及计算机存储介质。 其中， 所述图像 编码方法包括： 基于所述下采样模块， 提取原始 图像的空间特征， 和基于所述频率特征模块， 提 取所述原始图像的频率特征； 融合所述空间特征 和所述频率特征， 以获取所述原始图像的潜在特 征； 基于所述量化编码模块， 对所述潜在特征图 进行量化和编码， 以获得所述原始图像的码流， 可以提高基于频率特征的编码信息所重建图像 数据的率失真平 衡， 提高了红外图像压缩比例和 压缩质量之间的平衡性。 权利要求书3页 说明书11页 附图6页 CN 115294222 A 2022.11.04 CN 115294222 A 1.一种图像编码方法， 其特征在于， 基于训练后的图像压缩模型对原始图像进行编码； 所述图像压缩模型包括下采样模块， 频率特征模块、 量化模块和编码模块； 其中， 所述频率 特征模块连接所述下采样模块； 所述图像编码方法， 包括： 基于所述下采样模块， 提取原始图像的空间特征， 和基于所述频率特征模块， 提取所述 原始图像的频率特 征； 融合所述空间特 征和所述频率特 征， 获取所述原始图像的第一潜在特 征； 基于所述量化模块， 对所述第 一潜在特征量化处理， 获得第 一潜在特征量化值， 和基于 所述编码模块， 对所述第一潜在特 征量化值算术编码， 以获得 所述原始图像的码流。 2.根据权利要求1所述的图像编码方法， 其特征在于， 所述下采样模块包括n层下采样 子模块； 所述基于所述下采样模块， 提取原 始图像的空间特 征， 包括： 利用各所述下采样子模块， 对输入图像分别进行处理， 以获得对应的各空间特征， 和获 得目标空间特 征； 其中， 各所述输入数据为上一层下采样子模块处理后输出的空间特征； 所述目标空间 特征为经过最后一层下采样子模块处 理后所获得的空间特 征。 3.根据权利要求2所述的图像编码方法， 其特征在于， 所述频率特征模块包括拼接 融合 子模块和n个频率采集子模块； 各 所述频率采集子模块分别连接对应的下采样子模块； 所述基于所述频率特 征模块， 提取 所述原始图像的频率特 征， 包括： 对于各所述下采样子模块输出的空间特征， 分别采用与 所述下采样子模块对应连接的 所述频率采集子模块进行处 理， 以获得对应的频率特 征图； 利用所述拼接融合层， 将各所述频率特征图进行拼接融合， 以获得所述原始图形的目 标频率特征。 4.根据权利要求3所述的图像编码方法， 其特征在于， 所述频率采集子模块包括第 一特 征转换单元、 第二重采样单元、 深度特征提取单元和第二特征转换单元； 其中， 所述第一特 征转换单元， 用于将图像所述空间特征转换为所述频率特征； 所述第二特征转换单元用于 将图像的所述频率特 征转换为所述空间特 征； 所述采用与所述下采样子模块对应连接的所述频率采集子模块进行处 理， 包括： 对于单个所述空间特 征， 利用所述第一 转换子模块进行 特征转换， 以获第一频率特 征； 利用所述第二重采样单 元对所述第一频率特 征进行重采样， 以获得第二频率特 征； 利用所述深度特征提取单元对所述第二频率特征进行处理， 以获得第三频率特征； 以 及， 利用所述第二转换子模块， 对所述第三频率特征进行特征转换， 以获得对应的频率特 征图。 5.根据权利要求4所述的图像编码方法， 其特征在于， 所述深度 特征提取单元包括依次 连接的第四卷积层、 第一激活层和第五卷积层； 其中， 所述第四卷积层和所述第五卷积层的 卷积核大小相同； 所述利用所述深度特征提取单元对所述第二频率特征进行处理， 以获得第三频率特 征， 包括：权　利　要　求　书 1/3 页 2 CN 115294222 A 2对所述第 二频率特征， 利用所述第四卷积层、 第 一激活层和第五卷积层执行特征提取； 将提取后新的第二频率特征和提取前的所述第二频率特征进 行融合， 以获得所述第三频率 特征。 6.根据权利要求3至5中任一项所述的图像编码方法， 其特征在于， 所述下采样模块还 包括第一重采样子模块； 连接 于最后一层所述下采样子模块之后； 所述基于所述下采样模块， 提取原 始图像的空间特 征， 还包括： 基于所述第 一重采样子模块， 对所述最后一层下采样子模块所输出的目标空间特征的 特征尺度进行 更新， 以获取新的目标空间特 征。 7.一种图像处理方法， 其特征在于， 基于训练后的图像处理模型， 对原始图像进行压 缩； 所述图像处理模 型包括如权利要求1至4中任意一项所述的图像编码方法中所述压缩模 型的模块， 以及解码模块和上采样模块； 所述图像处 理方法， 包括： 基于所述图像压缩模型， 采用如权利要求1至6中任意一项所述的图像编码方法， 对所 述原始图像进行处 理， 以获得对应的码流； 基于所述 解码模块对所述码流执 行算术解码， 获得算 术解码后的第二潜在特 征； 以及， 以及， 基于所述上采样模块对所述第二潜在特征进行图像重建， 以获得重建后新的图 像数据。 8.一种图像处 理方法， 其特 征在于， 包括： 获取训练集； 基于所述训练集中的各原始图像数据， 结合预先构建的超先模型和上下 文模型， 对图像处理模型执行训练过程， 以获得训练后的图像处理模型； 其中， 所述图像处 理模型包括如权利要求7 所述的图像处 理方法中所述图像处 理模型的模块； 将待压缩的原始图像输入训练后的所述图像处理模型中， 以获得压缩后的新图像数 据。 9.根据权利要求8所述的图像编码方法， 其特征在于， 所述结合预先构建的超先模型和 上下文模型对图像处 理模型执行训练过程， 于单次执 行时候， 包括； 采用如权利要求1至6中任意一项所述的图像编码方法， 对单个所述原始图像进行处 理， 以获得对应的所述第一潜在特征量化值； 将所述第一潜在特征量化值输入所述超先验 模型中， 依次执行超先验下采样过程， 超先验量化过程， 超先验编解码过程， 超先验上采样 过程， 以对应获得超 先验第一潜在特征， 超先验第一潜在特征量化值， 超先验第二潜在特征 和超先验重 建特征； 和基于所述上下文模型， 提取所述第一潜在特征量化值的上下文 特征； 融合所述上 下文特征与所述超先验重建特 征， 以获得融合后的超先验潜在特 征； 对所述融合后的超先验潜在特征进行线性变换， 获取所述第 一潜在特征的高斯分布参 数信息， 以基于所述高斯分布 参数信息， 对所述第一潜在特征量化值进 行算术编 码， 获得码 流； 和基于所述高斯分布参数信息， 对 所述码流进 行算术解码， 以获得算术解码后的第二潜 在特征； 对所述第二潜在特 征进行图像重建， 以获得重建后新的图像数据； 以及， 基于所述第一潜在特 征量化值和所述超先验潜在特 征量化值， 构建第一损失函数； 和 基于所述新的图像数据和所述原始图像数据， 构建第二损 失函数； 基于所述第一损 失 函数和所述第二损失函数， 构建总损失函数， 以基于所述总损失函数， 训练所述图像处理模权　利　要　求　书 2/3 页 3 CN 115294222 A 3