[发明专利]基于布隆过滤器算法的地震台网大数据去重的方法有效
| 申请号： | 201910800615.5 | 申请日： | 2019-08-28 |
| 公开（公告）号： | CN110532251B | 公开（公告）日： | 2021-11-05 |
| 发明（设计）人： | 王英男;任涛;田宜聪;王柳婷;张钧桓 | 申请（专利权）人： | 东北大学 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215;G06F16/22 |
| 代理公司： | 沈阳东大知识产权代理有限公司 21109 | 代理人： | 李在川 |
| 地址： | 110819 辽宁*** | 国省代码： | 辽宁;21 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提出了一种基于布隆过滤器算法的地震台网大数据去重的方法。其特征是：步骤1通过TCP/IP协议接收多路数据流数据，并按字节进行拆包操作，并对拆包后的每个包进行解析；步骤2将经过拆包处理后的所有数据包进行一次去重过滤判断，并存储到布隆过滤器中；步骤3对解析出的包含特定含义字段的数据包进行判断是否需要二次去重过滤，并存储到HBase数据库中；步骤4将存储到HBase数据库中的数据包解析为地震数据MSEED格式，并存储到磁盘中永久保存，需要输出时以台网名、台站名、通道、采样率和时间组合的方式进行自动命名；步骤5利用obspy.merge方法对存储到HBase数据库中的数据包进行三次去重判断；步骤6通过TCP/IP协议建立连接，实现服务器端，将处理后的数据包以数据流的方式转发出去，并持续监听发送端口是否有请求。本发明从功能上将多路数据流汇总成单路数据流，通过布隆过滤器的一次去重、HBase数据库的二次去重以及obspy.merge方法的三次去重实现实时大数据的去重。 | ||
| 搜索关键词： | 基于 过滤器 算法 地震 网大 数据 方法 | ||
【主权项】：
1.一种基于布隆过滤器算法的地震台网大数据去重的方法，其特征在于，包括以下步骤：/n步骤1：通过TCP/IP协议接收多路数据流数据，并按字节进行拆包操作，并对拆包后的每个包进行解析，所述的解析过程主要是将每个数据包按照特定含义字段进行解析，所述特定含义字段包括台网名、台站名、通道、采样率和时间；/n步骤2：将经过拆包处理后的所有数据包进行一次去重过滤判断，并存储到布隆过滤器中；/n步骤3：对解析出的包含特定含义字段的数据包进行判断是否需要二次去重过滤，并存储到HBase数据库中；/n步骤4：将存储到HBase数据库中的数据包解析为地震数据MSEED格式，并存储到磁盘中永久保存，需要输出时以台网名、台站名、通道、采样率和时间组合的方式进行自动命名；/n步骤5：利用obspy.merge方法对存储到HBase数据库中的数据包进行三次去重判断；/n步骤6：通过TCP/IP协议建立连接，实现服务器端，将处理后的数据包以数据流的方式转发出去，并持续监听发送端口是否有请求。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于东北大学，未经东北大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910800615.5/，转载请声明来源钻瓜专利网。
