[发明专利]基于数据仓库的数据归因处理方法、装置及存储介质

权利要求书

1.一种基于数据仓库的数据归因处理方法，其特征在于，包括：

获得待分析指标数据，其中，所述待分析的指标数据包括数据指标以及所述数据指标对应的数据；所述待分析指标数据来自于源数据层，源数据层的数据包括结构化数据和非结构化数据；待分析指标数据包括流量日志数据、告警日志数据、网络安全事件数据、资产相关数据、运维监控数据、恶意域名数据、恶意ip知识数据、有害程序数据、漏洞知识数据、等保知识数据和告警规则描述数据；

将所获取的待分析指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据；根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合；其中，将所获取的指标数据输入数据仓库进行数据处理，获得数据指标的变化率数据的方法包括：将所获取的指标数据发送至数据仓库的采集中心层，在所述采集中心层根据预设数据结构对所述待分析指标数据进行存储，并将所存储的具有预设数据结构的指标数据发送至数据仓库的细节数据层；通过所述细节数据层对所述待分析指标数据进行预处理，获得标准化的明细指标数据，并将所述明细指标数据发送至数据仓库的数据计算层；其中，所述预处理包括数据校验、数据补充、数据加密；通过所述数据计算层对所述明细指标数据进行数据处理，并获得所述数据指标以及所述数据指标对应的指标变化率数据；

将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值；将任意两个与同一数据指标相关的指标项目集合输入归因模型，获得所述数据指标的两个指标项目集合间的关联度值方法包括：将任意两个与同一数据指标相关的所述指标项目集合输入归因模型；将所述两个指标项目集合分别进行矩阵化处理，得到两个特征向量；利用所得到的两组特征向量构建判别典型相关分析算法的准则函数；根据所述准则函数获得所述两个特征向量各自对应的典型投影矢量集；根据特征融合策略，利用所述典型投影矢量集获得两个特征向量融合后的相关性特征向量以及其对应的特征值；采用近邻分类器对所述融合后的相关性特征向量进行分类识别，获得每组中与同一数据指标相关的两个指标项目集合间的关联度值；

筛选所述关联度值大于预设的关联度阈值的数据指标的指标项目集合以形成数据指标的目标指标数据，并以数据立方体形式输出。

2.如权利要求1所述的基于数据仓库的数据归因处理方法，其特征在于，在所述步骤根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合中，所述预设的数据维度包括，定义数据指标的维度层次以及按照所述数据指标的维度层次罗列所需计算的数据指标名目。

3.如权利要求1所述的基于数据仓库的数据归因处理方法，其特征在于，在所述筛选所述关联度值大于预设的关联度阈值的数据指标的指标项目集合以形成数据指标的目标指标数据，并以数据立方体形式输出步骤之后，还包括贡献率分析步骤，包括：

将同一数据指标的目标指标数据输入基于主成分分析的贡献率分析模型，获得所述数据指标的指标贡献率；

筛选指标贡献率大于预设的贡献率阈值的数据指标作为核心影响指标；

利用所述核心影响指标判断突变指标变化的成因。

4.如权利要求3所述的基于数据仓库的数据归因处理方法，其特征在于，所述基于主成分分析的贡献率分析模型的网络结构为输入层、隐含层和输出层；其中，所述隐含层甄选使用tansig传递函数、trainlm训练函数、learngdm阈值学习函数，所述输出层采用线性传递purelin函数；所述隐含层神经元数设置为每层12个。

5.如权利要求4所述的基于数据仓库的数据归因处理方法，其特征在于，所述步骤根据预设的数据维度将所述数据指标以及所述数据指标对应的指标变化率数据处理形成数据指标的指标项目集合中，还包括：

为了提升所述指标项目集合的有效性，对所述数据指标的指标项目集合中的所述指标变化率数据进行正相关收集；

其中，所述正相关收集为筛选大于预设的数据指标变化率阈值的指标变化率形成数据指标的指标项目集合。