[发明专利]一种稀疏数据异常检测方法及装置

权利要求书

1.一种稀疏数据异常检测方法，其特征在于，所述方法包括：

对不同类型的原始数据进行特征处理，以将所述不同类型的原始数据转换成统一格式的稀疏数据；

采用因子分解机对所述稀疏数据进行建模，得到非线性流形模型；

根据所述非线性流形模型，计算数据对象的异常值得分；

根据所述数据对象的异常值得分，判定所述数据对象是否为异常数据；

所述对不同类型的原始数据进行特征处理，以将所述不同类型的原始数据转换成统一格式的稀疏数据，包括：

分别对分类型数据、短文本数据以及数值型数据进行不同的特征处理，得到n行d列的数据集其中z_ij表示第i行第j列的数据；

所述采用因子分解机对所述稀疏数据进行建模，得到非线性流形模型，包括：

采用因子分解机对所述数据集进行建模，使所述数据集位于非线性流形上，得到的非线性流形模型为：

其中，p是1...n之间的任意值，g是全局参数；b₁，...，b_d是特定属性参数；是属性值z_pi和z_pj的隐含关系权重，其中是一个k维向量；

所述根据所述非线性流形模型，计算数据对象的异常值得分，包括

根据所述非线性流形模型，计算数据对象的异常值得分为：

其中，对于文本数据，LQ(Z_p)等于所有文本的平均单词个数除以该文本的单词个数；而对于分类型数据和数值型数据，LQ(Z_p)等于1。

2.根据权利要求1所述的稀疏数据异常检测方法，其特征在于，所述分别对分类型数据、短文本数据以及数值型数据进行不同的特征处理，包括：

针对所述分类型数据，对每个分类型属性中的每个值创建一个二值属性，所述二值属性的值是0或1；其中，如果一个数据对象中包含所述二值属性，则该数据对象对应于所述二值属性上的值为1，否则为0；

针对所述短文本数据，为每个不同的关键词创建一个属性；其中，如果一个文本包含r个关键词，则在每个关键词属性上的值为在其他词属性上的值为0；

针对所述数值型数据，对原始数据集中每个属性i执行以下操作：计算平均值u_i和标准差σ_i，将范围(u_i-σ_i，u_i+σ_i)平分成Φ个区间；为每个区间创建一个属性，如果一个数据对象第i个属性的值位于其中的一个区间，则该区间的属性值为1，否则为0；如果一个数据对象第i个属性的值x_i小于u_i-σ_i，则创建一个属性，其属性值为|x_i-(u_i-σ_i)|/σ_i；如果x_i大于u_i+σ_i，则创建一个属性，其属性值为|x_i-(u_i+σ_i)|/σ_i；其中，Φ的值根据原始数据集的大小设定。

3.根据权利要求1所述的稀疏数据异常检测方法，其特征在于，所述非线性流形模型中的参数g，b_i，的值通过最小化所有数据对象的均方误差得到，其中，最小化对应的优化目标函数为：

其中，是正则化项，Θ是包含参数g，b_i，v_ij的参数空间，θ是参数空间中任意一个参数，λ_θ是参数θ的正则化参数值，λ_g表示针对参数g的正则化参数值，表示针对参数b_i的正则化参数值，表示针对参数v_ij的正则化参数值。