(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211076654.3 (22)申请日 2022.09.05 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 马千里　朱思颖　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄卫萍 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/26(2012.01) G06Q 10/04(2012.01) G08G 1/01(2006.01) (54)发明名称 基于长短期Tran sformer模型的交通流量预 测方法 (57)摘要 本发明公开了一种基于长短期 Transformer 模型的交通流量预测方法， 用于交通路网中预测 未来的交通情况。 步骤如下： 获取交通流量序列 并对交通流量序列进行位置编码、 时间编码， 获 取多角度特征表示； 将交通流量序列的多角度特 征表示输入长短期Transformer模型， 所述长短 期Transformer模型包 括顺序连接的长短期注意 力层、 前馈网络层、 残差连接层、 归一化层、 全连 接层， 得到输出的预测结果； 根据预测结果和数 据真实结果， 以最小化损失函数为目标迭代训 练， 更新参数； 用经过训练的长短期 Transformer 模型在测试集上得到交通 流量预测结果。 权利要求书4页 说明书10页 附图3页 CN 115545152 A 2022.12.30 CN 115545152 A 1.一种基于长短期Transformer模型的交通流量预测方法， 其特征在于， 所述交通流量 预测方法包括以下步骤： S1、 获取交通 流量数据， 进行 标准化预处理； S2、 对交通 流量数据进行位置编码和时间编码， 提取多角度特 征表示； S3、 将多角度特征表示输入长短期Transformer模型， 所述长短期Transformer模型包 括顺序连接的长 短期注意力层、 前馈网络层、 残差连接层、 归一化层、 全连接层， 得到输出的 预测结果； S4、 根据输出的预测结果和数据真实结果， 以最小化损失函数为目标， 进行迭代训练， 更新参数； S5、 利用经 过训练的长短期Transformer模型在测试集上 得到交通 流量预测结果。 2.根据权利要求1所述的基于长短期Transformer模型的交通流量预测方法， 其特征在 于， 所述步骤S2中对交通流量数据X1:T＝{x1,x2,…,xT}， X1:T简称X， 其中 表示T时刻 的交通流量， T表 示序列数据的长度， 进行编码 Embed(·)得到多角度特征表 示， 编码过程如 下： Xemb＝Embed(X)＝Epos(X)+Etemporal(X) 为交通流量序列X的多角度特征表示， dmodel为编码空间的维度， Epos(·)和Etemporal(·)分别代表位置编码、 时间编码； 位置编码Epos(·)采用正弦和余弦位置编码， 如下： Epos(X)(p， d)表示交通流量数据X在时间维度上位置为p、 空间维度上位置为d的位置特 征， 表示向下 取整； 时间编码Etemporal(·)采用全连接网络对交通 流量数据X进行 特征提取， 如下： Etemporal(X)＝WtemporalX+btemporal 其中Wtemporal是全连接网络的权 重矩阵， btemporal是偏置项。 3.根据权利要求2所述的基于长短期Transformer模型的交通流量预测方法， 其特征在 于， 所述步骤S3的过程如下： S3.1、 多角度特征输入长短期注意力层， 长短期注意力层包括并行的长期注意力机制 和短期注意力机制， 使用长期注意力机制捕获交通流量数据的全局长期特征Mlong， 同时， 使 用短期注意力机制提取交通 流量数据的局部短期特 征Mshort； S3.2、 融合上述全局长期特征和局部短期特征， 得到长短期特征Mlong‑short， 计算公式如 下： 其中 是由可训练参数组成的仿射变换， Concat( ·)是向量间沿特征维度的权　利　要　求　书 1/4 页 2 CN 115545152 A 2拼接操作； S3.3、 长短期特征Mlong‑short经过顺序连接的前馈网络层、 残差连接层、 归一化层和全连 接层， 过程如下： FFN(Mlong‑short)＝max(0， Mlong‑shortW1+b1)W2+b2 W1和W2是前馈网络层的权重矩阵， b1和b2是偏置项， max( ·)为取元素中最大元素的操 作； H＝LayerNorm(FFN(Mlong‑short)+Mlong‑short) H为隐层特征， LayerNorm( ·)代表沿特征维度的归一化操作， 归一化层中的元素逐项 相加代表残差连接层； 隐层特征经过全连接层， 生成预测序列， 公式如下： 代表未来H步的预测序列， Wpre是全连接层的权 重矩阵， bpre是偏置项。 4.根据权利要求1所述的基于长短期Transformer模型的交通流量预测方法， 其特征在 于， 所述步骤S4的过程如下： 使用DTW距离作为自适应分块损失， 如下： Lproto(P)＝DTW(P， Q) 定义另一项损失函数为预测值和真实值之间的均方误差损失， 计算公式如下： XT+1： T+H和 分别代表未来H步的真实序列和预测序列； 由自适应分块损失和形状约束损失组成迭代训练的损失函数L， 计算公式如下： F是批量训练时批量的大小， λ表示损失项的权重， Xf表示批量训练时第f个样本的输入 序列， Pf代表第f个样本的原型块向量， 利用反向传播算法对损失函数L最小化， 以达到最 优。 5.根据权利要求3所述的基于长短期Transformer模型的交通流量预测方法， 所述步骤 S3.1中使用长期注意力机制捕获交通 流量数据的全局长期特 征Mlong， 过程如下： 首先将交通 流量数据X的多角度特 征表示Xemb映射为Q、 K、 V， 如下： Q＝WqXemb， K＝WkXemb， V＝WvXemb 其中 Q ,K , 分 别代表注意 力机 制中的 查 询、 键 和值 ， 为实现映射的可学习的第一、 第二、 第 三权重矩阵， dq,dk,dv分别为Wq,Wk,Wv的维度， dmodel为编码空间的维度； 利用点积计算两 两时间步之间的关联， 计算公式如下：权　利　要　求　书 2/4 页 3 CN 115545152 A 3