[发明专利]一种基于P2P技术的海量日志数据溯源与存储装置

权利要求书

1.一种基于P2P技术的海量日志数据溯源与存储装置，其特征在于：包括日志收集模块、日志分布模块、数据存储模块、数据传输模块、展示模块，上述模块相互形成数据交互，日志收集模块通过数据收集装置进行日志数据的采集，日志分布模块通过内部存在的过滤器进行日志分类，数据存储模块用于全量数据、过滤数据的存储，数据传输模块为分布式存储系统，使用区块链存储文件位置hash，各个区块链节点之间通过P2P通讯。

2.根据权利要求1所述的一种基于P2P技术的海量日志数据溯源与存储装置，其特征在于：所述日志收集模块通过日志底层Filebeat日志收集模块将日志采集后，通过日志分布模块发送到logstash日志过滤器的input模块后，进行日志数据的分类，通过将全量日志输出到全量原始数据存储器IPFS分布式部署中，通过filter根据不同需求清洗数据，后将清洗后的数据输出到热数据存储器ES集群中，全量历史数据存储会将日志的来源信息存入区块链节点，以做溯源操作，区块链节点之间会进行P2P通讯，以保证节点数据统一，热数据存储ES集群可以将存储的数据，进行筛选展示。

3.根据权利要求1所述的一种基于P2P技术的海量日志数据溯源与存储装置，其特征在于：所述数据收集装置收集数据，收集装置采集的数据发送到数据处理装置，数据处理装置负责将满足条件(比如文件数量达标、文件大小达标)的文件A/B/C(这里假如A/B/C三个文件被打包)进行打包处理，计算MD5值作为文件名；分布式文件存储系统可以存储海量文件，将打包好的文件通过接口形式存储进文件存储系统，存储系统返回一个打包文件在存储文件中的存储位置hash值：A-hash；数据处理装置通过接口的形式请求链系统A-hash上链，链系统只保存A-hash，占用空间更小；链系统返回交易hash：T-hash，将T-hash赋予给文件A/B/C，然后将文件发送给清洗装置进行数据处理过滤，最后上层应用进行展示。

4.根据权利要求1所述的一种基于P2P技术的海量日志数据溯源与存储装置，其特征在于：所述在对数据进行溯源时，将文件展示层查看文件原始信息；文件展示层携带文件的T-hash通过接口请求链系统；链系统返回文件在分布式存储系统中的位置hash：A-hash；文件展示层携带A-hash通过接口访问分布式存储系统；分布式存储系统下载带有该文件的包。