[发明专利]一种基于大数据框架的智能分析平台设计方法

权利要求书

1.一种基于大数据框架的智能分析平台设计方法，其特征在于，该方法将智能分析平台设计为包括数据接入子系统、大数据服务子系统、智能分析框架子系统和智能分析引擎子系统；

所述数据接入子系统支持结构化数据、非结构化数据和半结构化数据的接入；

大数据服务子系统的第一步是从数据接入子系统采集数据并进行预处理操作，为后继流程提供统一的数据集，并对数据进行初步分析和组织，包括特性提取、关系分析、合规性分析、模型分析，并为大数据的应用提供负载均衡、数据路由功能，通过分布式消息总线和数据服务总线实现大数据存储，大数据服务子系统同时包括对原始数据的存储、结构化和非结构化数据的存储功能，通过分布式消息总线和数据服务总线提供持久化服务，以支持后继更深度的数据分析流程，大数据服务子系统采用的大数据计算模型和框架，提供实时的计算、查询和索引，能够进行持续不断的大数据流计算，包括任务分派、任务调度、任务获取、任务执行、任务提交功能；

针对智能分析引擎子系统中不同的分析引擎，智能分析框架子系统提供引擎基础运行环境，并能实现分析引擎安装、引擎配置管理、引擎状态分析功能，支持引擎集成和扩展，自动分配引擎资源，实时监控引擎资源状态、运行状态功能，智能分析框架子系统的目标，是构建一套标准的引擎集成框架，并依靠这套框架方便的按标准集成、扩展、管理不同的智能分析引擎，支撑不同引擎基本运行环境和资源自动分配的同时，提供引擎管控、引擎配置修改、引擎状态管控这些基础能力；

智能分析引擎子系统以智能分析框架子系统为基础运行环境，按智能分析框架子系统提供的标准接口接入经大数据服务子系统处理后的多源数据，提供基于人工智能的行为分析服务；

所述智能分析引擎子系统初始时内置了恶意代码分析引擎、异常行为分析引擎、异常流量分析引擎、加密流量分析引擎、综合关联分析引擎五种分析引擎，各分析引擎从不同的技术维度对从前端探针获取到的数据日志进行分析，从而检测识别各类威胁行为，系统采用松耦合、模块化设计，可扩展更多的分析引擎，智能分析引擎子系统基于AI智能技术对各类网络威胁提供智能分析，可发现已知威胁、已知威胁变种、未知威胁。

2.如权利要求1所述的方法，其特征在于，所述数据接入子系统通过数据接入管理技术实现数据接入状态监控、调度与安全审计。

3.如权利要求1所述的方法，其特征在于，所述结构化数据利用sqoop来传输，sqoop作为数据采集工具在源数据与RDBMS中结构化数据存储之间传输数据，对于非结构化数据和半结构化数据，采用Flume对日志数据和事件数据的采集提供支持。

4.如权利要求1所述的方法，其特征在于，所述恶意代码分析引擎利用决策树和随机森林这些机器学习算法对静态、动态的恶意代码进行分析，同时，对恶意家族进行分类；异常行为分析引擎对日志数据与威胁情报数据进行分析，对邮件威胁、网页挂马威胁、微博攻击威胁、端口扫描威胁、病毒慢速爆破威胁和通联行为威胁这些攻击行为数据进行分类；异常流量分析引擎将流量元数据进行分析，对失陷主机、命令控制、DGA域名攻击、横向移动攻击、数据泄露、基线、协议异常、隐蔽隧道进行分析；加密流量分析引擎对恶意代码加密通道、加密应用、SSL信道进行分析；综合关联分析引擎对恶意代码分析引擎、异常流量分析引擎、异常流量分析引擎和加密流量分析引擎的结果进行收集、汇总，然后进行综合关联分析，将结果返回给业务系统。

5.如权利要求1所述的方法，其特征在于，每类分析引擎按照ATTCK模型，对攻击方法的技术点进行对抗性智能分析，同时智能分析引擎子系统集成智能算法硬件实现智能分析引擎子系统的加速运算。

6.如权利要求1所述的方法，其特征在于，所述智能分析引擎子系统基于机器学习技术对各类网络威胁提供智能分析。