(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111425250.6 (22)申请日 2021.11.26 (65)同一申请的已公布的文献号 申请公布号 CN 114143212 A (43)申请公布日 2022.03.04 (73)专利权人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 王晓飞　赵云凤　刘志成　仇超　 胡清华　 (74)专利代理 机构 济南光启专利代理事务所 (普通合伙) 37292 专利代理师 张瑜 (51)Int.Cl. H04L 41/14(2022.01) H04L 67/10(2022.01)G16Y 20/30(2020.01) G06Q 50/26(2012.01) G06F 9/50(2006.01) G06N 20/00(2019.01) (56)对比文件 WO 2021139537 A1,2021.07.15 CN 113543074 A,2021.10.2 2 审查员 樊爽 (54)发明名称 一种面向智慧城市的社会化学习方法 (57)摘要 本发明公开了一种面向智慧城市的社会化 学习方法， 包括： 构建分层社会化学习系统； 基于 深度强化学习建立任务评估模型， 利用所有物联 网设备的任务状态和信道状态优化任务评估模 型获得基本决策； 边缘服务器利用联邦学习边缘 聚合接收的任务评估模型， 并根据基本决策优化 边缘服务器上的任务评估模型获得高层决策； 边 缘服务器利用迁移学习对物联网设备中的模型 进行指导； 云服务器利用联邦学习云聚合接收到 的任务评估模 型， 根据高层决策和云服务器上的 任务评估模 型制定市级决策， 并利用迁移学习对 边缘服务器上任务评估模型进行指导。 本发明利 用联邦学习提高层内智能体间的协作， 层间利用 迁移学习实现了上层对下层的引导， 提高了模型 的性能。 权利要求书2页 说明书7页 附图2页 CN 114143212 B 2022.09.16 CN 114143212 B 1.一种面向智慧城市的社会化学习方法， 其特 征在于， 包括如下步骤： S1， 构建包括云服务器、 边缘服务器和物联网设备的分层社会化学习系统， 物联网设备 通过无线网络与边 缘服务器连接， 边 缘服务器与云服 务器连接； S2， 基于深度强化学习在物联网设备、 边缘服务器和云服务器中分别建立任务评估模 型； S3， 物联网设备利用所有物联网设备获得的任务状态和信道状态对任务评估模型进行 优化， 根据优化后的任务评估模型获得任务处理基本决策， 并将任务处理基本决策和优化 后的任务评估 模型发送给对应的边 缘服务器； 所述步骤S3包括如下步骤： S3.1， 每个物联网设备获取当前环境下的任务状态和信道状态， 并根据对应的任务评 估模型得到任务处 理初步决策； S3.2， 每个物联网设备综合所有物联网设备的任务处理初步决策， 并以最小化总处理 延迟和能耗的加权和为目标对 任务评估 模型进行一次优化； S3.3， 物联网设备根据一次优化后的任务评估模型制定任务处理基本决策， 并将任务 处理基本决策和一次优化后的任务评估 模型发送给对应的边 缘服务器； S4， 边缘服务器利用联邦学习对物联网设备发送 的任务评估模型进行边缘聚合， 根据 物联网设备发送的任务处理基本决策对边缘服务器上的任务评估模型进行优化获得任务 处理高层决策， 并将任务处 理高层决策发送给物联网设备； S5， 边缘服务器利用迁移学习对物联网设备中的任务评估模型进行指导， 并将任务处 理高层决策和优化后的任务评估 模型发送给云服 务器； S6， 云服务器利用联邦学习将边缘服务器发送 的任务评估模型进行云聚合， 根据边缘 服务器发送的任务处理高层决策和云服务器上的任务评估模型制定任务处理市级决策， 将 任务处理市级决策发送给边缘服务器， 并利用迁移学习对边缘服务器中的任务评估模型进 行指导。 2.根据权利要求1所述的面向智慧城市的社会化学习方法， 其特征在于， 在步骤S3中， 所述任务状态包括任务的CPU周期和任务数据量， 信道状态包括无线网络的授权信道增益、 非授权信道增益和信道占用状态。 3.根据权利要求2所述的面向智慧城市的社会化学习方法， 其特征在于， 所述物联网设 备包括主要用户和次要用户， 主要用户通过授权信道与边缘服务器连接， 次要用户通过授 权信道或非授权信道与边缘服务器连接， 当次要用户使用授权信道时， 需不影响主要用户 的连接。 4.根据权利要求1所述的面向智慧城市的社会化学习方法， 其特征在于， 所述任务处理 基本决策和任务处 理初步决策均包括卸载决策、 无线网络的信道选择和计算资源预算。 5.根据权利要求1所述的面向智慧城市的社会化学习方法， 其特征在于， 所述步骤S4包 括如下步骤： S4.1， 每个边缘服务器获取当前环境下的信道状态和边缘可用计算资源， 利用联邦学 习将接收到的一次优化的任务评估模型进 行边缘聚合， 并将边缘聚合后的任务评估模型发 送对应的物联网设备； S4.2， 每个边缘服务器根据接收到的任务处理基本决策、 步骤S4.1获取的信道状态和权　利　要　求　书 1/2 页 2 CN 114143212 B 2边缘可用计算资源以及边 缘服务器上的任务评估 模型得到任务处 理高层初步决策； S4.3， 每个边缘服务器综合所有边缘服务器的任务处理高层初步决策， 并以成本最小 化为目标对边缘服务器上的任务评估模型进 行一次优化， 根据一次优化后的任务评估模型 得出任务处 理高层决策； S4.4， 边缘服务器将任务处理高层决策发送给对应的物联网设备， 物联网设备利用任 务处理高层决策对物联网设备 上的任务评估 模型进行二次优化。 6.根据权利要求5所述的面向智慧城市的社会化学习方法， 其特征在于， 所述任务处理 高层决策和任务处理高层初步决策均包括基本决策的评估结果、 协作边缘服务器选择和边 缘计算资源贡献量。 7.根据权利要求6所述的面向智慧城市的社会化学习方法， 其特征在于， 所述成本等于 边缘计算资源贡献量减去与其它边 缘服务器合作的成本之间的差值。 8.根据权利要求1所述的面向智慧城市的社会化学习方法， 其特征在于， 所述步骤S6包 括如下步骤： S6.1， 云服务器获取当前环境下的信道状态和云可用计算资源， 利用联邦学习将接收 到的边缘服务器发送的任务评估模型进行云聚合， 并将云聚合后的任务评估模型发送边缘 服务器； S6.2， 云服务器将接收到的任务处理高层 决策、 步骤S5.1得到的信道状态和 云可用计 算资源输入云服务器上的任务评估模型得到任务处理市级决策， 将任务处理市级决策发送 给对应的边 缘服务器， 并利用迁移学习对边 缘服务器中的任务评估 模型进行指导； S6.3， 边缘服务器根据任务处理市级决策对边缘服务器上的任务评估模型进行二 次优 化。 9.根据权利要求8所述的面向智慧城市的社会化学习方法， 其特征在于， 所述任务处理 市级决策包括高层决策的评估结果和云计算资源贡献量。权　利　要　求　书 2/2 页 3 CN 114143212 B 3