(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111570830.4 (22)申请日 2021.12.21 (65)同一申请的已公布的文献号 申请公布号 CN 113947732 A (43)申请公布日 2022.01.18 (73)专利权人 北京航空航天大 学杭州创新研究 院 地址 310051 浙江省杭州市滨江区长河街 道创慧街18号 (72)发明人 周家柳　罗喜伶　王珺珺　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 郑海峰 (51)Int.Cl. G06V 20/17(2022.01)G06V 20/52(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) G06V 10/774(2022.01) G06V 10/26(2022.01) 审查员 李娇 (54)发明名称 基于强化学习图像亮度调节的空中视角人 群计数方法 (57)摘要 本发明公开了一种基于强化学习图像亮度 调节的空中视角人群计数方法， 首先获取经标注 的训练集， 对其预处理， 得到原始分辨率图像块 和低分辨率图像块的标注数据集； 基于得到的数 据集训练得到原始人群计数模型和粗糙人群计 数模型； 然后构建并训练强化策略网络模型。 工 作时， 对于待处理的无人机实时图像， 利用训练 得到的强化策略网络模型选取对应分辨率的图 像块并进行亮度值的调整， 根据选择结果调取对 应的人群计数模型得到各图像块的人群计数结 果， 综合得到整张图像的人群计数结果。 本发明 不仅能够在只有空中视觉信息的条件下实现人 群计数， 还能够基于训练的强化学习模型对原始 模型进行加速 。 权利要求书2页 说明书6页 附图1页 CN 113947732 B 2022.05.31 CN 113947732 B 1.基于强化学习图像亮度调节的空中视角人群 计数方法， 其特 征在于包括如下步骤： 1） 获取已经进行标注的无人机人群计数数据集， 对于其中的空中视角人群图像和标注 进行图像块切割和降低分辨率预处理， 得到原始分辨率图像块的数据集和 低分辨率图像块 的数据集； 2） 分别用原始分辨率图像块的数据集和低分辨率图像块的数据集训练机器学习人群 计数模型， 得到原 始人群计数模型和粗 糙人群计数模型； 3） 构建和训练强化策略网络模型， 所述强化策略网络模型的输出为是否使用低分辨率 图像块， 以及使用低分辨 率图像块时， 低分辨 率图像块需要增减的亮度值； 对于步骤1） 所得数据集中的每个图像， 以HR表示原始分辨率版本， 以LR表示低分辨率 版本， 每个原始 分辨率图像或低分辨率图像均由n2个相等大小的非重叠图像块组成， 第i个 图像块表示 为 或 ； 强化策略网络模型通过观察每个图像， 输出一个二元数组 ， 其中 表示 模型倾向于 选取HR的第i个图像块 ， 表示模型倾向于 选取LR的第i个图像块 ； 同时， 强化策略网络模型通过观察每个图像， 输出 ， 表示将第i 个图像块 或 的图像转换成HSV图像， 将V通道的值进行增减的值； 图像转换成HSV图像 并将V通道的值进行增减后转换回RGB图像； 4） 对于待处理的无人机实时图像， 进行图像块切割和降低分辨率预处理， 利用步骤3） 训练得到的强化策略网络模型选取对应分辨率的图像块并进 行亮度值的调整， 其中将选择 原始分辨率的每个图像块， 使用步骤2） 已经训练好的原始人群计数模型得到该图像块的人 群计数结果； 将选择低分辨率的每个图像块， 使用步骤2） 已经训练好的粗糙人群计数模型 得到该图像块的人群计数结果， 各图像块的计数结果之和即为输入图像经估算的人群计数 结果最终得到整张图像的人群 计数结果。 2.根据权利要求1所述的基于强化学习图像亮度调节的空中视角人群计数方法， 其特 征在于， 步骤1） 中所述的对于其中的空中视角人群图像和标注进 行图像块切割和降低分辨 率预处理， 包括如下步骤： 1.1） 将空中视角人群图像均分为n2个图像块， 得到原始分辨率图像块， 并将每张图像对 应的真值标注映射到切割后的图像块上， 得到原始分辨率图像块的标注， 即每个图像块可 以得到对应的一个标注文件； 原始分辨率图像块和其标注构成原始分辨率图像块的数据 集； 其中n 为大于等于2的整数； 1.2） 对原始分辨率 图像块的数据集， 做降低分辨率处理， 得到低分辨率 图像块的数据 集。 3.根据权利要求2所述的基于强化学习图像亮度调节的空中视角人群计数方法， 其特 征在于， 所述 步骤1.2） 中， 降低分辨 率的倍数由预 先设定。 4.根据权利要求2所述的基于强化学习图像亮度调节的空中视角人群计数方法， 其特 征在于， 所述步骤1.2） 中， 所述低分辨率图像块的数据集包括低分辨率图像块及其标注， 其 中， 低分辨率图像块的标注通过将每张图像对应的真值标注映射到切割后的低分辨率图像 块上得到， 每个低分辨图像块对应的一个标注文件。权　利　要　求　书 1/2 页 2 CN 113947732 B 25.根据权利要求1所述的基于强化学习图像亮度调节的空中视角人群计数方法， 其特 征在于， 利用经标注的训练集对强化策略网络模型进行训练， 强化策略网络模型的奖励函数包 括精度部 分和时间成本部 分； 奖励函数促使模型在考虑精度要求的同时选择更少的HR图像 块以节约计算成本 。 6.根据权利要求5所述的基于强化学习图像亮度调节的空中视角人群计数方法， 其特 征在于， 强化策略网络模型的奖励函数 R示为： 其中， 表示预测的误差值， 表示估计的时间成本； 表示原始人群 计数模型 得到的预测结果， 表示粗糙人群计数模型 得到的预测结果， 为超参数。 7.根据权利要求6所述的基于强化学习图像亮度调节的空中视角人群计数方法， 其特 征在于， 、 表示超参数， 在训练的过程中需要进行设置及调整， 表示一组蒙特卡洛采样生 成的二进制数， 表示一张图像中使用HR图像块的数量。 8.根据权利要求1所述的基于强化学习图像亮度调节的空中视角人群计数方法， 其特 征在于， 所述的将V通道的值进行增减为： 对每个图像块中的像素点进行相同的亮度调整， 为正则增加亮度， 负则降低亮度。权　利　要　求　书 2/2 页 3 CN 113947732 B 3