(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211157273.8 (22)申请日 2022.09.22 (65)同一申请的已公布的文献号 申请公布号 CN 115237609 A (43)申请公布日 2022.10.25 (73)专利权人 深圳市优网科技有限公司 地址 518000 广东省深圳市西丽 街道曙光 社区中山园路1001号TCL科学园区F5 栋501 (72)发明人 赵文博　石刚　 (74)专利代理 机构 北京酷爱智慧知识产权代理 有限公司 1 1514 专利代理师 何忠仪 (51)Int.Cl. G06F 9/50(2006.01)G06F 16/901(2019.01) G06F 16/903(2019.01) H04W 28/06(2009.01) (56)对比文件 CN 106294546 A,2017.01.04 CN 106535219 A,2017.0 3.22 CN 105631913 A,2016.0 6.01 CN 113806065 A,2021.12.17 审查员 周佳利 (54)发明名称 一种用户信息快速关联回填的方法、 装置及 存储介质 (57)摘要 本发明公开了一种用户信息快速关联回填 的方法、 装置及存储介质， 所述方法包括： 获取待 采集数据源文件； 将待采集数据源文件以预设的 时间采集单元， 在每个单元中划分多个JOB分组 并生成JOB任务； 领取生成的任务， 并开始采集对 应的所有文件， 提取文件中的有效用户身份信 息， 生成两个Map映射表； 将两个Map再缓存持久 化到磁盘中， 并合并生成最终的两个Map 表； 将已 合并的内存单元进行提交关联， 并加入到内存 组； 根据关联请求解析每条参数； 然后在关联的 内存组中， 找到Key值相同， 时差最小的用户信息 批量返回。 本发明的方法能够提高采集效率， 降 低内存冗余数据量， 从而克服现有技术中所带来 的巨大内存损耗的缺陷。 权利要求书4页 说明书11页 附图2页 CN 115237609 B 2022.12.27 CN 115237609 B 1.一种用户信息快速关联回填的方法， 其特 征在于， 所述方法包括： 通过文件扫描 线程， 以预设的第一时间 间隔， 获取核心网侧的待采集数据源文件； 将所述待采集数据源文件按时间顺序， 以预设的第二时间为一个时间采集单元， 并在 每个单元中划分多个JOB分组， 每个JOB分组按预设的数据总尺寸为单位， 分成一组并生成 多个JOB任务； 记录每个所述时间采集单 元生成的JOB数量； 通过采集线程池的每个子线程， 不间断地按时间顺序领取生成的所述JOB任务， 并开始 采集JOB对应的所有文件， 逐条提取文件中的有效用户身份信息， 分别生成包含Tmsi、 MmeUeS1apid两种组合查询方式的Key主键到两个Map映射表； 其中， 所述Map映射表包括 tmsiMap和s1apMap； 并根据记录中的用户身份信息， 生成Map映射表Key对应的预定义数据 结构UserI nfo进行采集； 每个线程采集完成后， 将已经生成的两个Map再缓存持久化到磁盘Cache目录中， 并记 录当前JOB对应的采集单 元时间； 当文件持久化完成， 更新当前采集单 元对应已完成Job数量 值； 通过缓存合并线程定时扫描所述磁盘Cache目录中， 并判断最新出现的数据时间的上 一个时间采集单 元是否全部 完成； 若完成， 则进行二级合并操作， 生成该时间采集单 元周期最终的tm siMap和s1apMap； 当合并线程每合并好一个时间采集单元的数据单元后， 将已合并的内存单元提交加入 到内存组中， 当内存组中的存储 单元超限时， 则释放时间最早的内存 单元； 并从释放的内存 单元中所引的用户信息UserI nfo对象整体回收到对象池中； 通过TCP连接获取 无线网侧CDR、 MR的批量关联请求； 解析每条需要关联 数据的参数； 然后在关联的内存组中， 分别在预设时间段范围内的多个连续 时间采集单元所对应的 内存单元中， 找到Key值相同， 时差最小的用户信息批量返回， 将其作为匹配的最优用户信 息结果， 实现批量关联回填； 如果不在时间段范围内或未找到， 则 返回未找到标识； 具体步 骤为： 根据关联数据参数的数据时间， 在对应预设时间的前后多个内存组中， 若从对应M ap找 到Key相同， 且关联数据参数的数据时间在UserInfo对象的StartTime和EndTime这个起止 时间范围内， 即表示匹配相似度为100%， 如果不在这个范围内， 则匹配相似度计算公式= 100‑无线网数据时间与StartTime和EndTime的最小差值*时差分数系数； 当最小时差大于5 分钟， 则相似度为0； 相似度大于预设值时， 则代表匹配成功， 回填对应UserInfo的用户身份信息， 否则代表 匹配失败。 2.根据权利要求1所述的一种用户信息快速关联回填的方法， 其特 征在于 两个Map对应的Key分别由tmsi+mmeGroupID+mmeCode和mmeUeS1apid+mmeGroupID+ mmeCode组成， Key采用字节 合并位压缩算法将三个字段的值压缩合并到一个64位的长整形 变量中； 其中， 合并方式为： Tmsi或mmeUeS1ap id通过去除符号位后并位左移32位放到32 ‑63位， mmeGroup ID通过左 移8位存放到8 ‑31位， mmeCode存放在低0 ‑7位；权　利　要　求　书 1/4 页 2 CN 115237609 B 2Map对应的Value存储的是自定义的UserInfo单向链表对象， 并将UserInfo单向链表作 为用户信息数据结构， 包含当前Key对应的所有用户信息； 其中， UserInfo对象采用对象池 方式， 当采集下一批文件时， 可以重复利用， 而不必重复申请和释放； UserInfo数据结构的实现采用了一个包含NextUserInfo字段指向下一个相同Key的另 一个用户UserInfo对象的引用， 不使用List容器就可以实现单向链表能力， 达到更节省内 存目的； 如果循环迭代 查询到NextUser Info引用的对象为空时， 则代表当前Key下的所有用 户遍历完成。 3.根据权利要求2所述的一种用户信 息快速关联回填的方法， 其特征在于， 所述判断最 新出现的数据时间的上一个时间采集单 元是否全部 完成的判断依据是： 根据记录生成的JOB数量和记录的已完成JOB数量， 如果相等， 则代表上一个时间采集 单元周期的文件已全部采集处 理完成； 其中， JOB数量， 使用一个预定义288个vol atile类型二维数组变量， 用于分别循环记录 一天内每个5分钟单元Job任务生成数量和已完成的Job数量； 对变量的读写和判断是否相 等采用原子变量操作方法代替线程同步锁， 以避免读写 线程休眠而达 到更高的读写效率。 4.根据权利要求3所述的一种用户信息快速关联回填的方法， 其特征在于， 所述合并 时， 所采用的合并方式为： 扫描所有合并周期的缓存文件， 将第 二个到最后一个缓存块的内容合并到第 一个缓存 块中， 如果被合并的缓存块Map中有不同的key， 则在第一个缓存块对应的Map中插入新的 Key主键和UserInfo值， 如果有相同的key， 则只需要更新一下当前Key对应UserInfo的 StartTime和EndTime即可； 更新后的StartTime取合并记录和被合并 的记录的时间 的最小值， EndTime取合并记录 和被合并的记录的时间的最大值， 用一个User Info对象的两个起始时间字段分别标记该用 户核心网侧出现的时间范围， 达 到同用户的多条 数据reduce去重节省内存目的。 5.根据权利要求1至4中任一所述的一种用户信息快速关联回填的方法， 其特征在于， 所述方法还 包括： 启动一个TCP监听服务， 无线网侧MR、 CDR采集入库时， 每个采集任务建一个异步TCP连 接， 通过异 步采集和批量回填方式， 实现入库前回填好用户信息再入库， 实现入库前就关联 完成， 以节约展现的时间。 6.一种用户信息快速关联回填的装置， 其特征在于， 包括文件扫描模块、 采集模块、 合 并模块和用户关联模块； 文件扫描模块， 用于： 通过文件扫描 线程， 以预设的第一时间 间隔， 获取核心网侧的待采集数据源文件； 将所述待采集数据源文件按时间顺序， 以预设的第二时间为一个时间采集单元， 并在 每个单元中划分多个JOB分组， 每个JOB分组按预设的数据总尺寸为单位， 分成一组并生成 多个JOB任务； 记录每个所述时间采集单 元生成的JOB数量； 采集模块， 用于： 通过采集线程池的每个子线程， 不间断地按时间顺序领取生成的所述JOB任务， 并开始 采集JOB对应的所有文件， 逐条提取文件中的有效用户身份信息， 分别生成包含Tmsi、权　利　要　求　书 2/4 页 3 CN 115237609 B 3