[发明专利]一种基于P2P技术的海量日志数据溯源与存储装置

说明书

本发明提供一种基于P2P技术的海量日志数据溯源与存储装置，属于数据处理领域。包括日志收集模块、日志分布模块、数据存储模块、数据传输模块、展示模块，上述模块相互形成数据交互，日志收集模块通过数据收集装置进行日志数据的采集，日志分布模块通过内部存在的过滤器进行日志分类，数据存储模块用于全量数据、过滤数据的存储，数据传输模块为分布式存储系统，使用区块链存储文件位置hash，各个区块链节点之间通过P2P通讯，使用分布式存储系统存储文件，使用区块链系统存储文件位置hash，实现海量日志数据溯源与存储的方式。

技术领域

本发明提供一种基于P2P技术的海量日志数据溯源与存储装置，属于数据处理领域。

背景技术

目前，在进行数据存储时，涉及大数据库，大数据常用的数据库包括MongoDB、Redis、Elasticsearch、Hbase、Hive等，每种存储技术均有各自的特点，例如Hbase支持海量数据，具有极强的横向扩展能力，在涉及多个列项，或无法获取查询数据的key时，查询效率低下，适用于数据量极大、查询条件简单、列与列之间联系不大的轻查询应用场景；又或者Elasticsearch数据库，支持全文搜索，自动为所有字段建立索引，支持复杂聚合查询，字段类型无法修改，写入性能较低，高硬件资源消耗，适用于构建搜索引擎和用来做数据分析。但是无论哪种存储方式，均不能算作分布式存储方案，数据存储中心化，无法保证数据的真实性，数据溯源也就难以实现，数据溯源有追踪数据的起源和重现数据的历史状态的能力，但前提就是提供的数据是可信数据，当前数据实现溯源的代表技术就是区块链技术，区块链技术的产出物如以太坊，以太坊可以记录并找到在系统中发生的每笔交易，并且有重现历史数据的能力。以太坊的节点分布在全球各地，通过点对点网络传输和独特的共识机制，让每个节点都有提供可信数据的能力。

现有的数据的存储方案中，无法保证数据的真实性，更难保证数据溯源的可信度，此外，现有的数据通过对应区块链存储在本地数据上，存储数据量受到本地容量限制，不能够进行横向扩容。

发明内容

本发明一种基于P2P技术的海量日志数据溯源与存储装置，提供的使用分布式存储系统存储文件，使用区块链系统存储文件位置hash，实现海量日志数据溯源与存储的装置。结构简单，使用方便。

本发明一种基于P2P技术的海量日志数据溯源与存储装置是这样实现的，本发明一种基于P2P技术的海量日志数据溯源与存储装置：包括日志收集模块、日志分布模块、数据存储模块、数据传输模块、展示模块，上述模块相互形成数据交互，日志收集模块通过数据收集装置进行日志数据的采集，日志分布模块通过内部存在的过滤器进行日志分类，数据存储模块用于全量数据、过滤数据的存储，数据传输模块为分布式存储系统，使用区块链存储文件位置hash，各个区块链节点之间通过P2P通讯；

所述日志收集模块通过日志底层Filebeat日志收集模块将日志采集后，通过日志分布模块发送到logstash日志过滤器的input模块后，进行日志数据的分类，通过将全量日志输出到全量原始数据存储器IPFS分布式部署中，通过filter根据不同需求清洗数据，后将清洗后的数据输出到热数据存储器ES集群中，全量历史数据存储会将日志的来源信息存入区块链节点，以做溯源操作，区块链节点之间会进行P2P通讯，以保证节点数据统一，热数据存储ES集群可以将存储的数据，进行筛选展示；

所述数据收集装置收集数据，收集装置采集的数据发送到数据处理装置，数据处理装置负责将满足条件(比如文件数量达标、文件大小达标)的文件A/B/C(这里假如A/B/C三个文件被打包)进行打包处理，计算MD5值作为文件名；分布式文件存储系统可以存储海量文件，将打包好的文件通过接口形式存储进文件存储系统，存储系统返回一个打包文件在存储文件中的存储位置hash值：A-hash；数据处理装置通过接口的形式请求链系统A-hash上链，链系统只保存A-hash，占用空间更小；链系统返回交易hash：T-hash，将T-hash赋予给文件A/B/C，然后将文件发送给清洗装置进行数据处理过滤，最后上层应用进行展示；