(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111632022.6 (22)申请日 2021.12.2 9 (71)申请人 江苏慧眼数据科技股份有限公司 地址 214000 江苏省无锡市无锡惠山经济 开发区智慧路1号清华创新大厦 A1501-A1505 (72)发明人 吕楠　张丽秋　 (74)专利代理 机构 北京世衡知识产权代理事务 所(普通合伙) 11686 专利代理师 张超艳 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双路协同的人群密度分析方法及系统 (57)摘要 本发明提供基于双路协同的人群密度分析 方法， 包括： 构建分析模 型， 分析模型包括第一生 成模型， 第一生成模型输入图像， 输出图像的人 群密度图； 训练分析模型， 包括： 构建训练集； 通 过第一生成模型和第一判别模型构建第一生成 式对抗网络， 将训练集的训练图像输入第一生成 式对抗网络； 通过第二生 成模型和第二判别模型 构建第二生成式对抗网络， 将训练图像进行随机 切分形成多个子训练图像， 输入第二生成式对抗 网络； 通过第一生成式对抗网络和第二生成式对 抗网络的损失函数优化第一生 成模型； 将原始图 像输入训练后的分析模型获得原始图像的人群 密度图。 本发明还提供系统。 本发明在分析原始 图像时仅仅实用第一生成模型， 减少了模型开销 和复杂度。 权利要求书4页 说明书11页 附图2页 CN 114581839 A 2022.06.03 CN 114581839 A 1.一种基于双路协同的人群密度分析 方法， 其特 征在于， 包括： 构建分析模型， 所述分析模型包括第 一生成模型， 所述第 一生成模型输入图像， 输出为 所述图像的人群密度图； 训练分析模型； 将原始图像输入训练后的分析模型获得原 始图像的人群密度图； 其中， 所述训练分析模型的步骤 包括： 构建训练集； 通过第一生成模型和第 一判别模型构建第 一生成式对抗网络， 将训练集的训练图像输 入第一生成式对抗网络； 通过第二生成模型和第 二判别模型构建第 二生成式对抗网络， 将训练图像进行随机切 分形成多个子训练图像， 输入第二 生成式对抗网络； 通过第一 生成式对抗网络和第二 生成式对抗网络的损失函数优化第一 生成模型。 2.根据权利要求1所述的基于双 路协同的人群密度分析方法， 其特征在于， 所述通过第 一生成模型和 第一判别模型构建第一生成 式对抗网络， 将训练集的训练图像输入第一生成 式对抗网络的步骤 包括： 将训练图像输入第一 生成模型输入， 输出第一人群密度估计图； 获得训练图像的真实人群密度图， 优选地， 包括： 在训练图像上进行人头标注； 采用设 定尺寸的均值 为1的二维高斯分布替代人头标注； 将第一人群密度估计图和真实人群密度图输入第一判别模型， 输出第一判别误差； 将第一人群密度估计图和真实人群密度图的L2损失作为第一 L2损失误差； 优选地， 还 包括： 将第一人群密度估计图和真实人群密度图输入第一感知网络， 输出第一感知误差； 进 一步优选地， 通过 下式获得第一感知误差： 其中， LP(G)为感知误差； G为生成模型， T为感知特征个数， t为感知特征索引， fGenerated (t)为人群密度估计图第t个感知特 征， fGroundTruth(t)为真实人群密度图第t个感知特 征； 优选地， 所述将第一人群密度估计图和真实人群密度图输入第一判别模型， 输出第一 判别误差的步骤 包括： 将第一人群密度估计图和真实人群密度图输入第 一判别模型， 通过下式获得第 一判别 误差： LA(G， D)＝Ex， y～Pdata(x， y)[log D(x， y)]+Ex～Pdata(x)[log(1‑D(x， G(x) ))] 其中， LA(G， D)为判别误差； G为生成模型， D为判别模型， x 为训练图像， y为人群密度估计 图， Pdata(x， y)为训练图像和人群密度 估计图的数据的真实分布； Ex， y～Pdata(x， y)为分布函数 的期望值； D(x， y)为判别模型对于x， y的判别输出； G(x)为生成模 型的输出； D(x， G(x))为判 别模型对于x， G(x)的判别输出； 优选地， 所述将第一人群密度估计图和真实人群密度图的L2损失作为第一L2损失误差 的步骤包括：权　利　要　求　书 1/4 页 2 CN 114581839 A 2通过下式获得第一 L2损失误差： 其中， LE(G)为L2损失； G为生成模型， C为像素个数， c为像素索引， SGenerated(c)为人群密 度估计图第c个 像素的像素值， SGroundTruth(c)为真实人群密度图第c个 像素的像素值。 3.根据权利要求2所述的基于双 路协同的人群密度分析方法， 其特征在于， 所述通过第 二生成模型和 第二判别模型构建第二生成 式对抗网络， 将训练图像进 行随机切分形成多个 子训练图像， 输入第二 生成式对抗网络的步骤 包括： 将训练图像进行随机切分形成多个子训练图像； 将多个子训练图像批次送入第二 生成模型， 生成多个第二人群密度估计图； 将真实人群密度图按照训练图像的切分， 切分成多个子真实人群密度图； 将第二人群密度估计图和对应的子真实人群密度图输入第 二判别模型， 获得第 二判别 误差； 将第二人群密度估计图和对应的子真实人群密度图的L2损失作为第二 L2损失误差； 将多个第二人群密度估计图积分获得第三人群密度估计图； 获得第三人群密度估计图和第一人群密度估计图的残差； 优选地， 还 包括： 将第二人群密度估计图和对应的子真实群密度像输入第 二感知网络， 输出第 二感知误 差； 优选地， 所述获得第三人群密度估计图和第一人群密度估计图的残差的步骤 包括： 通过下式获得残差： 其中， LC为残差， SLarge(c)为第一人群密度估计图第c个像素的像素值， SSmall(c)为第三 人群密度图第c个 像素的像素值。 4.根据权利要求3所述的基于双 路协同的人群密度分析方法， 其特征在于， 所述通过第 一生成式对抗网络和第二 生成式对抗网络的损失函数优化第一 生成模型的步骤 包括： 将第一L2损失误差、 第二L2损失误差、 第一判别误差、 第二判别误差、 第一感知误差、 第 二感知误差和残差中的多个加权组合构建损失约束模型， 优选地， 通过下式构建损失约束 模型： 其中， LGenerator为总损失， ωe、 ωp和ωc分别表示了L2损失、 感知误差、 残差的权 重； 通过损失约束模型优化第一 生成模型， 优选地， 包括： 将训练集输入损失约束模型， 获得总损失； 将总损失最小对应的第一 生成模型作为 最优第一 生成模型。 5.根据权利要求3所述的基于双 路协同的人群密度分析方法， 其特征在于， 所述通过第权　利　要　求　书 2/4 页 3 CN 114581839 A 3