(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111667759.1 (22)申请日 2021.12.31 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 卢暾　应亦周　顾宁　李东胜　 张鹏　 (74)专利代理 机构 上海正旦专利代理有限公司 31200 代理人 陆飞　陆尤 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 一种基于因子分解机的多任务时序推荐方 法 (57)摘要 本发明属于时间序列推荐技术领域， 具体为 基于因子分解机的多任务时序推荐方法。 本发明 具体步骤为： 根据不同的推荐任务需求处理数据 并得到相似性矩阵； 将用户静态特征和根据相似 性矩阵筛选出的动态特征作为模型静态任务和 动态任务的输入； 不同任务经过嵌入层、 注意力 机制、 因子分解交互层、 线 性层得到最终给结果； 根据结果和损失更新模型参数， 不断训练直至达 到收敛停止条件； 保存模型， 在新数据中加载模 型并得到TOPN推荐结果。 本发明着力提高因子分 解机模型在时序推荐场景中的实用性和准确性， 将多任务、 注意力机制等与因子分解机相结合， 从而提升因子分解机在现实时序推荐任务中的 效果。 权利要求书2页 说明书5页 附图4页 CN 114282687 A 2022.04.05 CN 114282687 A 1.一种基于因子分解机的多任务时间序列推荐方法， 其特征在于， 将原始因子分解机 模型的一阶、 二阶交互和时序模型相结合， 一方面学习非时序性特征的上下文信息， 另一方 面学习时间序列所蕴含的时序信息， 同时将两部分信息结合进一步学习以提升推荐效果， 从广度和深度的多维角度解决原始因子分解机在时序推荐上表现欠佳的问题； 具体步骤 为： 步骤1： 将原始数据整理并拆分为用户非时序的静态上下文和历史时间序列信 息， 在此 基础上生成用户 ‑物品矩阵； 其中， 将用户输入特征分为用户静态特征和用户时序特征两部 分： [s1， s2， ...， sn， d1， d2， ...， dm， target]； 其中， s表示非时序特 征， 共有n维， d表示时序特 征， 共有m维， target 表示目标物品； 步骤2： 根据步骤1中的用户 ‑物品矩阵按照余弦相似性对步骤1中分割出的时间序列进 行重要性筛 选， 在有限的时序输入长度内保留最相关的时间序列： 式中， sim为相似性函数， I为物品， I1， I2表示两种物品， r表示评分， 分别为用 户a， 用户b对某个物品i的评分； 步骤3： 对非时序特 征和筛选过后的时序特 征进行二维特 征嵌入： Estatic＝Embedding(Dfeature， Dembedding) 其中， Estatic为非时序特征Embedding的结果， Dfeature表示需要Embedding的特征维度， DEmbedding表示最终需要得到的Embe dding结果的维度； f表示特征， Θ为Embe dding过程中的 超参， wi为模型需要学习一阶参数， vi为模型需要学习的二阶参数； 步骤4： 对于非时序的嵌入结果采用因子分解机进行一阶、 二阶特 征交互： 其中， f同上为输入的特征， w为线性部分权重， w0为全局权重， N表示输入的特征数， k表 示隐向量V的维度， 在因子分解机中用于得到 二阶交互， 为非时序特征fi的预测结 果； 步骤5： 对于时序特 征进行一维嵌入： Etime＝Embedding(Dfeature， Dembedding)权　利　要　求　书 1/2 页 2 CN 114282687 A 2其中， Etime， 表示时序特征Embedding的结果， 和步骤3中类似， Dfeature和DEmbedding分别表 示需要Embedding的特征维度和最终需要得到的Embedding结果的维度， Θ为Embedding的 超参， t表示时序特 征， u为模型需要学习的参数； 步骤6： 使用自注意力机制提取时序各嵌入项的权 重， 之后推入因子分解机进行交 互： 其中， T为Attention权重， K， Q， V分别为自注意力机制中的参数， WQ、 Wk、 WV为Q， K， V的线 性变换参数， dk表示K的维度， 最后 为ti时刻的预测结果； 步骤7： 将 非时序和时序 特征的嵌入进行拼接， 用自注意力 机制和因子分解机获取两者 的结合特 征： Ecross＝[Estatic， Etime] 同步骤6， C为自注意力学习到的权 重， 为交叉特征c的预测结果； 步骤8： 对步骤4、 步骤6、 步骤7的结果采用线性层进行整合， 最后得到预测结果： 其中， 分别表示 步骤4、 步骤6、 步骤7的 和 步骤9： 对于步骤4、 步骤6、 步骤7、 步骤8的结果与目标结果进行比较， 介入辅助损失提 升训练效果和效率： 其中,w1， w2， w3分别为模型需要更新的各部分损失Loss1， Loss2， Loss3的权重， 最终的损 失为Loss； 步骤10： 根据步骤9中的损失更新模型超参， 不断训练， 最后达到训练收敛条件， 结束训 练保存模型； 步骤11： 对于新数据， 用步骤1的数理方法得到模型的输入和用户 ‑物品矩阵输入到加 载的步骤10里保存的模型中， 对得到的结果进行排序得到推荐结果。权　利　要　求　书 2/2 页 3 CN 114282687 A 3