[发明专利]一种基于大数据框架的智能分析平台设计方法

说明书

本发明涉及一种基于大数据框架的智能分析平台设计方法，涉及网络安全技术领域。本发明提供的一种基于大数据框架的智能分析平台设计方法依托大数据处理分析架构，结合人工智能赋能的安全分析工具，收集安全大数据，挖掘安全事件，感知安全威胁，提前预警防范，实现网络安全态势的智能分析，提升智能化安全防护水平。本发明提出的一种基于大数据框架的智能分析平台在技术体制上采用大数据框架，汇聚网络流量、用户行为、网络边界、业务系统、主机端点等安全态势数据，采用机器学习、深度学习、自然语言处理、知识图谱等人工智能技术，实现对态势数据的融合分析和深度挖掘，实现安全威胁事件实时感知、网络安全态势直观呈现，提升网络空间中安全的持续保障能力。

技术领域

本发明涉及网络安全技术领域，具体涉及一种基于大数据框架的智能分析平台设计方法。

背景技术

随着大数据、人工智能、物联网、云计算、移动互联网等新技术的出现和发展，网络在信息安全领域面临比以往更为复杂的局面，新的安全问题不断浮出水面、新的安全事件层出不穷。这里面既有来自于外部的层出不穷的入侵和攻击，也有来自于内部的操作违规、管理不当等带来的信息安全风险。

近两年人工智能技术的广泛应用，网络信息系统面临更加智能化、自动化、武器化的网络攻击趋势，传统安全防御体系存在着严重的风险与不足，已无法解决越来越复杂和隐蔽的高级威胁：①单点式、片段式安全防护手段，信息是割裂的、散乱的，缺乏协同；②特征式威胁检测，无法应对高级性攻击威胁，技术单一、疏于甄别；③被动式防御体系，无法提供预警机制，体系缺失、忽视设计；④安全噪音大，价值信息容易淹没，人员不足、管理难度大。

针对以上需求，迫切需要构建一套智能安全大脑，用于“感知”内外部的安全问题和网络威胁，就像人能够通过调动全身的各个器官感知环境并通过大脑做出综合判断一样，安全大脑可通过基于人工智能的行为分析服务，包括恶意代码分析、异常行为分析、异常流量分析、加密流量分析、综合关联分析等引擎，检测网络空间中的细微差异，汇总分析最终给出决策建议，辅助安全管理人员的值班和运维等工作。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何实现对态势数据的融合分析和深度挖掘，实现安全威胁事件实时感知、网络安全态势直观呈现，提升网络空间中安全的持续保障能力。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于大数据框架的智能分析平台设计方法，该方法将智能分析平台设计为包括数据接入子系统、大数据服务子系统、智能分析框架子系统和智能分析引擎子系统；

所述数据接入子系统支持结构化数据、非结构化数据和半结构化数据的接入；

大数据服务子系统的第一步是从数据接入子系统采集数据并进行预处理操作，为后继流程提供统一的数据集，并对数据进行初步分析和组织，包括特性提取、关系分析、合规性分析、模型分析，并为大数据的应用提供负载均衡、数据路由功能，通过分布式消息总线和数据服务总线实现大数据存储，大数据服务子系统同时包括对原始数据的存储、结构化和非结构化数据的存储功能，通过分布式消息总线和数据服务总线提供持久化服务，以支持后继更深度的数据分析流程，大数据服务子系统采用的大数据计算模型和框架，提供实时的计算、查询和索引，能够进行持续不断的大数据流计算，包括任务分派、任务调度、任务获取、任务执行、任务提交功能；

针对智能分析引擎子系统中不同的分析引擎，智能分析框架子系统提供引擎基础运行环境，并能实现分析引擎安装、引擎配置管理、引擎状态分析功能，支持引擎集成和扩展，自动分配引擎资源，实时监控引擎资源状态、运行状态功能，智能分析框架子系统的目标，是构建一套标准的引擎集成框架，并依靠这套框架方便的按标准集成、扩展、管理不同的智能分析引擎，支撑不同引擎基本运行环境和资源自动分配的同时，提供引擎管控、引擎配置修改、引擎状态管控这些基础能力；