(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210550024.9 (22)申请日 2022.05.20 (71)申请人 云火科技 （盐城） 有限公司 地址 224000 江苏省盐城市 盐南高新区新 河街道办事处新怡社区新园路20号3 幢106室 （CNX） (72)发明人 董琴　史鸣凤　陈瑾　刘柱　 (74)专利代理 机构 常州盛鑫专利代理事务所 (普通合伙) 32459 专利代理师 廉莹 (51)Int.Cl. H04N 21/4402(2011.01) H04N 21/439(2011.01) H04N 5/232(2006.01) G10L 25/57(2013.01)G10L 25/63(2013.01) G10L 15/22(2006.01) G10L 15/26(2006.01) G06V 40/16(2022.01) (54)发明名称 一种前段采集到后端播 放的图像处 理方法 (57)摘要 本发明涉及图像采集技术领域， 尤其涉及一 种前段采集到后端播放的图像处理方法， 解决了 现有技术中现有的若干种图像采集系统,其上位 机软件功能复杂,均需要多个采集按钮来适应不 同分辨率的图像采集,操作便利性极差的问题。 一种前段采集到后端播放的图像处理方法， 包括 接收采集指令， 获取从现实场景中采集的图像 帧， 根据所述采集指令控制图像采集设备进行图 像采集以获取第一图像， 将获取的所述获取从现 实场景中采集的图像帧图像帧按照采集的时序 逐帧播放， 将所述第一图像转换为第一数字信 号。 本发明本发 明中根据用户需要将从前端图像 采集到后端图像播放简化为图像采集、 图像传输 及图像播放三个部分， 极大的简化了过程中的操 作。 权利要求书2页 说明书5页 CN 114979774 A 2022.08.30 CN 114979774 A 1.一种前 段采集到后端播 放的图像处 理方法， 其特 征在于， 包括： 接收采集指令， 获取从现实场景中采集的图像帧； 根据所述采集指令控制图像采集设备进行图像采集以获取第 一图像， 将 获取的所述获 取从现实场景中采集的图像帧图像帧按照采集的时序逐帧播 放； 将所述第一图像转换为第 一数字信号， 获取识别所述图像帧中包括的人脸图像得到的 人脸情感特 征识别结果； 将所述第一数字信号转换为第二数字信号； 其中,所述第二数字信号包括行信号与场 信号， 提取采集所述图像帧时录制的语音数据； 从所述第二数字信号中获取图像数据， 获取识别所述语音数据得到的语音情感特征识 别结果； 通过统计已发送图像的帧数以获取所述第一图像的CSI帧号信息， 当所述人脸情感特 征识别结果与所述语音情感特征识别结果匹配时,在与所述人脸情感特征识别结果所包括 的情感特 征类型一 致的情感特 征图像集 合中,选取情感特 征图像； 在所述场信号有 效期间,通过统计所述行信号拉高的次数以获取所述第 一图像的行分 辨率信息， 当所述人脸情感特征识别结果与所述语音情感特征识别结果不匹配时,在与所 述语音情感特征识别结果所包括的情感特征类型一致的情感特征图像集合中,选取情感特 征图像； 在所述行信号有 效期间,通过统计所述场信号有效数据的个数以获取所述第 一图像的 场分辨率信息， 追踪连续播放的图像帧中所述人脸图像的运动轨迹,根据追踪的运动轨迹, 将所述情感特征图像展示在所述连续播放的图像帧中,以使 所述情感特征图像跟随人脸图 像进行移动显示； 获取每个数据帧的第一个有效像素在所述第一图像中的像素位置信息； 通过计数一定时间内所述场信号的有效次数以获取 所述第一图像的帧率信息； 获取所述第一图像的位深信息； 通过比较所述第一图像的当前像素值与当前像素最大值以获取所述第一图像的像素 最大值信息； 通过比较所述第一图像的当前像素值与当前像素最小值以获取所述第一图像的像素 最小值信息； 将所述CSI帧号信息、 所述行分辨率信息,所述场分辨率信息﹑ 所述像素位置信息﹑ 所述 帧率信息﹑ 所述位深信息﹑ 所述像素最大值信息及所述像素最小值信息按照设定组合规则 进行组合形成头信息； 将所述图像数据与所述头信息按照所述设定组合规则并按照特定大小整合以生成数 据块； 对所述数据块进行还原处 理形成待传输的源图像数据； 接收传输指令； 根据所述传输指令控制所述图像采集设备将所述待传输的源图像数据传输 至终端； 接收播放指令； 根据所述 播放指令控制所述终端播 放所述源图像。 2.根据权利要求1所述的一种前段采集到后端播放的图像处理方法， 其特征在于， 建立权　利　要　求　书 1/2 页 2 CN 114979774 A 2网络连接以使上位机对所述采集设备进行控制。 3.根据权利要求1所述的一种前段采集到后端播放的图像处理方法， 其特征在于， 根据 所述CSI帧号信息、 所述行分辨率信息、 所述场分辨率信息及所述像素位置信息解析所述数 据块以形成所述待传输的源图像数据。 4.根据权利要求3所述的一种前段采集到后端播放的图像处理方法， 其特征在于， 包 括： 根据所述传输指令控制所述采集设备开启多线程并建立Socket， 与所述终端形成传输 通道； 通过 所述传输通道将所述待传输的源图像数据传输 至所述终端。 5.根据权利要求4所述的一种前段采集到后端播放的图像处理方法， 其特征在于， 包 括： 根据所述播放指令从所述待传输的源图像数据中提取所述CSI帧号信息、 所述帧率信 息、 所述位深信息、 所述像素最大值信息及所述像素最小值信息； 根据所述CSI帧号信息逐 帧播放所述源图像； 根据所述帧率信息控制特定时间内的所述源图像的播放帧数； 根据所 述位深信息、 所述像素最大值信息及所述像素最小值信息控制所述源图像的播 放效果。 6.根据权利要求1所述的一种前段采集到后端播放的图像处理方法， 其特征在于， 包 括： 调整所述图像帧的尺寸至预设尺寸； 将调整后的所述图像帧的方向旋转至符合情感特 征识别条件的方向； 发送旋转后的所述图像帧至服务器； 接收所述服务器返回的针对发送的所述图像帧的 人脸情感特 征识别结果。 7.根据权利要求1所述的一种前段采集到后端播放的图像处理方法， 其特征在于， 包 括： 将提取的所述语音数据识别为文本； 查找所述文本所包括的情感特 征关键字。 8.根据权利要求7所述的一种前段采集到后端播放的图像处理方法， 其特征在于， 包 括： 根据查找到的所述情感特征关键字， 获取与所述语音数据相对应的语音情感特征识别 结果。权　利　要　求　书 2/2 页 3 CN 114979774 A 3