(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111677630.9 (22)申请日 2021.12.31 (71)申请人 大连大学 地址 116622 辽宁省大连市经济技 术开发 区学府大街10号 (72)发明人 张强　程海阳　孙启森　何昆仑　 张建新　 (74)专利代理 机构 大连智高专利事务所(特殊 普通合伙) 2123 5 代理人 马庆朝 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/06(2012.01) G06N 20/00(2019.01) (54)发明名称 一种基于改进Tran sformer的运动员能力预 测方法 (57)摘要 本发明涉及一种基于改进Transformer的运 动员能力预测方法， 属于运动员能力预测领域， 以均方误差作为反向传播的损失函数， 给出了基 于改进Transformer算法的运动员能力预测方 法； 通过滑动窗口平移方法将运动员能力预测问 题转化为可监督学习问题， 然后在得到的时序数 据中， 采用改进Transformer模型根据该运动员 当前能力水平去预测下一时刻的能力值； 该方法 着重解决的问题是， 在现有运动员能力数据稀 疏 的约束情况下， 提出改进Transformer模型能够 得到准确的运动员能力预测值， 使该预测方法能 够很好地适用于稀疏数据预测模 型； 改变了以往 的方法不能很好地解决数据冷启动问题， 传统 Transformer模型不能够处理时序数据输入输 出 的现状。 权利要求书2页 说明书7页 附图2页 CN 114298435 A 2022.04.08 CN 114298435 A 1.一种基于改进Transformer的运动员能力预测方法， 其 中， 运动员能力数据 集包括该 运动员成绩及取 得该成绩的时间， 其特 征在于， 包括以下步骤： 步骤1： 运用滑动窗口平 移方法将原 始数据处 理成适用于监 督学习的时序数据； 步骤2： 将预处理完的运动员成绩集合随机等分成5份， 抽取其中3份形成训练集， 1份作 为验证集， 剩下1份作为测试集； 步骤3： 将训练集输入改进 Transformer模型； 步骤4： 将训练集上的均方误差为损失函数进行优化， 并进行迭代， 使用早停函数在验 证集上均方误差的损失验证防止过拟合， 然后在测试集上检测模型预测效果， 若满足早停 函数条件则跳出循环。 2.根据权利要求1所述的基于改进Transformer的运动员能力预测方法， 其特征在于， 步骤1中， 采用移动拼接的方法将原 始运动员数据改为 适用于监 督学习的数据。 3.根据权利要求1所述的基于改进Transformer的运动员能力预测方法， 其特征在于， 步骤1包括以下 具体步骤： (1)每一个运动员的n次成绩在滑动窗口平移后可以得到f个l ×(n‑f)维的横向特征向 量， 其中l表示 运动员成绩特 征数量； (2)拼接得到横向特 征向量 的集合， 即运动员成绩矩阵 4.根据权利要求1所述的一种基于改进Transformer的运动员能力预测方法， 其特征在 于， 其中步骤2包括以下 具体步骤： 将滑动窗口平移产生的数据集随机划分成5等份， 抽取其中3份形成训练集TRi用以训练 模型， 1份形成验证集VAi用来作为早停函数的损失验证以防止模型过拟合， 剩下1份形成测 试集TEi以检测模型 预测效果。 5.根据权利要求1所述的基于改进Transformer的运动员能力预测方法， 其特征在于， 步骤3中， 对Transformer结构进行再设计,第一个改进是编码层的嵌入层： 输入层通过一个 全连接层将输入的NBA 运动员能力的时间序列数据映射到向量； 第二个改进 是输出层： 设置 一个输出层， 映射 解码器的输出到目标时间序列。 6.根据权利要求4所述的基于改进Transformer的运动员能力预测方法， 其特征在于， 步骤3包括以下 具体步骤： (1)将训练集TRi首先输入全连接层将数据映射成符合模型的输入， 然后将其输入编码 器层， 进行位置编码PE得到各个成绩之间的相对位置关系： 其中PE表示二维矩阵的位置编码， 每行表示运动员成绩， 每列表示运动员各成绩指标； pos表示运动员数据在序列中的位置， i表示指标位置， dmodel表示 运动员成绩指标个数； (2)对于得到的位置编码信息和原始特征向量进行连接， 然后再通过多头注意力机制 层Multi‑Head Attention在不同位置共同注意 来自不同表征子空间的信息：权　利　要　求　书 1/2 页 2 CN 114298435 A 2其中MultiHead表示多头注意力， Q表示查询矩阵， K表示键矩阵， V表示值矩阵， headi表 示第i个不同注意力头， Concat(.)表示将不同的注意力头的输出进行拼接， Wo表示附加的 权重矩阵， Attention(.)表示计算注意力， WiQ表示查询矩阵Q投影到低维空间上的权重矩 阵， WiK表示键矩阵K投影到低维空间上的权重矩阵， WiV表示值矩阵V投影到低维空间上的权 重矩阵， Softmax(.)表示归一化指数函数， KT表示对键矩阵K进行转置， dk表示键矩阵的维 度， zi表示矩阵中行向量； (3)然后输入残差网络规范层进行残差连接， 将上一层输入结果和输入值相加和层归 一化： LayerNorm(x+Sublayer(x) )       (5) 其中LayerNorm(.)表示层归一化， x表示输入值， Sublayer(.)表得到上一层的输出结 果； (4)将上述输出 结果输入前馈网络层进行 前馈连接： FFN(x)＝max(0,xW1+b1)W2+b2      (6) 其中FFN(.)表示进行前馈连接， max(.)表示取最大值的函数， W1表示第一层的权重矩 阵， b1表示第一层的偏置向量， W2表示第二层的权 重矩阵， b2表示第二层的偏置向量； (5)将其进行残差连接并输出为查询矩阵Q和键矩阵K,然后输入解码器层， 解码器层 中： 增加了一个子层， 将编码器层的输出当做输入； 修改编码器栈的自注意力层， 来防止预 测时当前位置关注后续 位置的值， 从而造成信息泄 露。 7.根据权利要求4所述的基于改进Transformer的运动员能力预测方法， 其特征在于， 步骤4包括以下 具体步骤： 将训练集上的均方误差为损失函数进行优化， 使用早停函数在验证集上VAi均方误差 的损失验证防止过拟合， 然后在测试集TEi上检测模型 预测效果； 其中MSE(.)表示求均方误差， y表示真实值， y'表示预测值， n表示n个数据， yi表示第个 真实值， y ′i表示第i个预测值。权　利　要　求　书 2/2 页 3 CN 114298435 A 3