(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111621264.5 (22)申请日 2021.12.28 (71)申请人 浙江芯力微电子股份有限公司 地址 314199 浙江省嘉兴 市嘉善县罗星街 道晋阳东路5 68号3号楼 2层 (72)发明人 谢旭平　卢煜旻　朱欣恩　 (74)专利代理 机构 嘉兴启帆专利代理事务所 (普通合伙) 33253 代理人 丁鹏 (51)Int.Cl. G06V 40/20(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于神经网络的毫米波雷达人体动作实时 检测方法 (57)摘要 本发明公开了一种基于神经网络的毫米波 雷达人体动作实时检测方法， 用于检测人体目标 的实时动作， 包括步骤S1： 通过毫米波雷达信号 获得目标的包括速度、 角度和距离的数据信息， 并且将获得的速度和距离的数据信息做傅里叶 变换， 以生成距离和速度频谱图， 从而作为第一 目标特征； 步骤S2： 根据距离和速度频谱， 提取毫 米波雷达信号获得的空间坐标点 云信息， 以作为 第二目标特征。 本发明公开的一种基于神经网络 的毫米波雷达人体动作实时检测方法， 通过残差 神经网络架构对雷达的距离速度和点云信息进 行直接分类识别， 能有效的解决相关问题。 权利要求书2页 说明书8页 附图3页 CN 114429672 A 2022.05.03 CN 114429672 A 1.一种基于神经网络的毫米波雷达人体动作实时检测方法， 用于检测人体目标的实时 动作， 其特 征在于， 包括以下步骤： 步骤S1： 通过毫米波雷达信号获得目标的包括速度、 角度和距离的数据信息， 并且将获 得的速度和距离的数据信息做傅里叶变换， 以生成距离和速度频谱图， 从而作为第一 目标 特征； 步骤S2： 根据距离和速度 频谱， 提取毫米波雷达信号获得的空间坐标点云信息， 以作为 第二目标 特征； 步骤S3： 将第一目标特征和第二目标特征进行融合并且输入到残差卷积神经网络模 型， 以进行 人体动作的识别分类判断。 2.根据权利要求1所述的一种基于神经网络的毫米波雷达人体动作实时检测方法， 其 特征在于， 步骤S1具体实施为以下步骤： 步骤S1.1： 通过毫米波雷达的频率调制连续波信号， 并且距离与速度的关系通过以下 公式体现： 其中， c为电磁波在空气中的传播速度， R是物体与毫米波雷达之间的距离， v是相对速 度， τ 是传播时间， 并且R和V为： 步骤S1.2： 通过以下公式将获得的速度和距离的数据信息做傅里叶变换： 其中b[n,m,k]指第 k根天线上接受到的第m个chirp的第n个采样点， Tfast为在一个扫频 周期内对信号采样的采样间隔， 通过2发4收的毫米波 雷达天线， 每个扫频周期N取值为256， M取值为128， K为 4， 帧率是20fps； 对一个扫频周期内的N个采样点做二维离 散傅里叶变换 得到对应的距离为： 对经过二维傅里叶变换后的数据在天线维度做傅里叶变换， 用以下公式 ： 以获得速度和角度 频谱图。 3.根据权利要求2所述的一种基于神经网络的毫米波雷达人体动作实时检测方法， 其 特征在于， 步骤S2具体实施为以下步骤： 步骤S2.1： 根据距离和速度 频谱通过以下公式提取出值为非零的距离频率分量和速度 频率分量， 公式为： x＝Rsinθ,y＝Rcosθ；权　利　要　求　书 1/2 页 2 CN 114429672 A 2从而获得毫米波雷达空间的点云信息， 以获得点云图像， 进而通过毫米波雷达信号提 取的点云图像对应人体在距离毫米波雷达预设距离处的空间点云。 4.根据权利要求3所述的一种基于神经网络的毫米波雷达人体动作实时检测方法， 其 特征在于， 步骤S3具体实施为以下步骤： 步骤S3.1： 将第一目标特征作 为残差卷积神经网络模型的初始输入图像X1并且将第二 目标特征作为残差卷积神经网络模型的初始输入图像X2； 步骤S3.2： 初始输入图像X1依次经过五个基本模块， 并且每一个基本模块包括两个卷 积层、 一个标准化层、 一个池化层和一个激活层， 将整个基本模块计算函数F， 那么对应的输 出为F(X)， 下一层的输入Y为上一个基本模块的结果F(X)加上之前对应的X输入等量映射， 以获得第一输出， 公式为： Y＝F(X)+X； 步骤S3.3： 初始输入图像X1依次经过一个卷积层和四个基本模块， 并且每一个基本模 块包括两个卷积层、 一个标准化层、 一个池化层和一个激活层， 将整个基本模块计算函数F， 那么对应的输出为F(X)， 下一层的输入Y为上一个基本模块的结果F(X)加上之前对应的X输 入等量映射， 以获得第二输出， 公式为： Y＝F(X)+X； 步骤S3.4： 将第一输出和第二输出输入融合层进行融合， 并且融合层的输出依次通过 两个全连接层后输入分类层， 以进行 人体动作的识别分类判断。 5.根据权利要求4所述的一种基于神经网络的毫米波雷达人体动作实时检测方法， 其 特征在于， 在基本模块中： 标准化层： x为输入层的图像数据， ∈,γ, β为0和1之间的标 准化参数； 卷积层： 激活层： ReLU(x)＝(x)+＝max(0,x)； 池化层： out(N,C,h,w)＝maxm＝0,…,kH‑1maxn＝0,…,kW‑1input(N,C,stride[0] ×h+m,stride[1] ×w+ n)。 6.根据权利要求5所述的一种基于神经网络的毫米波雷达人体动作实时检测方法， 其 特征在于， 分类层为： 分类层的输出结果为0和1之间的概率 值， 用于对图像 类别的判定 。 7.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所述一种基 于神经网络的毫米波雷达人体动作实时检测方法的步骤。 8.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程 序被处理器执行时实现如权利要求1至6任一项所述一种基于神经网络的毫米波雷达人体 动作实时检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 114429672 A 3