[发明专利]一种电信海量数据的关联方法、装置及存储介质

说明书

本申请提供了一种电信海量数据的关联方法、装置及存储介质，所述电信海量数据的关联方法，包括以下步骤：机房数据流接收，接收数据流，分析所述数据流得出该数据流的五元组数据和SessionID；数据流上传，接收来自各个机房的数据流，所述数据流中包括该数据流的五元组数据和SessionID，将各个机房的数据流汇总为数据集；数据流匹配，根据所述五元组数据和SessionID对所述数据集中的数据流进行匹配，提取匹配成功的数据流，并进行保存。将多个机房所接收的数据流上传至数据集，根据所述五元组数据和SessionID对所述数据集中的数据流进行匹配，不需要再各个机房之间拉传输，只需要对所述数据集中的数据流进行匹配关联，解决了多机房的同源同宿问题电信海量数据的关联。

技术领域

本申请涉及计算机技术领域，尤其涉及一种电信海量数据的关联方法、装置及存储介质。

背景技术

在运营商电信机房链路部署DPI设备，设备生成的报文需要通过分流按五元组哈希策略分发到不同的解码服务器，来解决同源同宿问题，传统的方法只能解决同一机房同源同宿问题，而运营商网络设备实际部署现状，机房错综复杂，存在多机房的情况跨机房同源同宿的问题。

传统的方式是通过拉传输解决，在多个机房之间拉传输，而对于运营商一些骨干网，省网，每个机房数据量特别庞大，通过机房之间拉传输，需要保证每两个机房之间均进行连接，4个机房时6条传输，8个机房需拉28条传输，12个机房则需要66条，当N个机房时候，需要的传输数量是n*（n+1）/2。因此，当面对多机房的情况时，拉传输的方式难以实现，难以解决多机房的同源同宿问题。

因此，本领域亟需一种电信海量数据的关联方法、装置及存储介质。

因此，有鉴于此，提出本申请。

发明内容

本申请的目的在于提供一种电信海量数据的关联方法、装置及存储介质，解决多机房的同源同宿问题。

本申请的第一方面提供了一种电信海量数据的关联方法，包括以下步骤：

机房数据流接收，接收数据流，分析所述数据流得出该数据流的五元组数据和SessionID；

数据流上传，接收来自各个机房的数据流，所述数据流中包括该数据流的五元组数据和SessionID，将各个机房的数据流汇总为数据集；

数据流匹配，根据所述五元组数据和SessionID对所述数据集中的数据流进行匹配，提取匹配成功的数据流，并进行保存。

采用上述方案，将多个机房所接收的数据流上传至数据集，根据所述五元组数据和SessionID对所述数据集中的数据流进行匹配，不需要再各个机房之间拉传输，只需要对所述数据集中的数据流进行匹配关联，解决了多机房的同源同宿问题。

进一步地，所述数据流包括包括请求数据流和响应数据流，所述请求数据流为用户发出的请求，所述响应数据流与请求数据流相匹配，所述响应数据流为响应所述请求数据流向用户发送的数据流。

进一步地，匹配成功的所述数据流可以保存在云端，也可以保存在本地的设备中，如硬盘或磁盘等。

进一步地，所述机房数据流接收为在机房接收传入该机房的数据流。

进一步地，所述数据流匹配的步骤包括数据流初次匹配，所述数据流初次匹配包括步骤：

时间记录上传，记录所述数据流上传至数据集的时间为上传时间；

时长阈值接收，所述时长阈值为实际的时间长度；

初次数据流提取，提取所述数据集中最早的上传时间为初次上传时间，提取初次上传时间至初次上传时间+时长阈值段传入数据集的数据流，提取从初次上传时间至初次上传时间+时长阈值对应的时间段的数据流为初次数据集合；

初次关联，根据所述五元组数据和SessionID对所述初次数据集合中的数据流进行匹配，提取匹配成功的数据流，并进行保存。