[发明专利]大数据资产评估方法

权利要求书

1.一种大数据资产评估方法，其特征在于，包括：

一、数据质量评估,包括：

1、数据准确率的计算

首先从数据表中分别抽样得到训练集、检验集和准确率预测集，每次针对训练集中的一个可预测属性f,设定其为类标号，训练得到一个分类器，并通过检验集进行性能检测；然后用此分类器对预测集中的每个元组的该属性f的值进行预测，预测值和实际值一致，对于数值属性，其差异不超出一定的阈值，则认为该属性值为正确的，而准确预测的元组比率即为数据表关于该属性的准确率a_f，对数据表中的每个属性重复这一过程，得到每个属性的准确率a_j；

其中j＝1、2、…、m，m为可预测属性的个数；

其中，n_t为预测集中的元组数，n_rj为预测集中被正确分类的元组数；计算这些a_j的加权算术平均值得到数据表的综合准确率A，即：

$A=\frac{{\mathrm{\Σ}}_{j=1}^m{\mathrm{fw}}_j{a}_j}{m}$

其中，j为被预测属性的编号，wf_j为属性j的权重，其值可以根据属性j的取值范围和离散程度来决定，因为属性取值范围越大、离散程度越高，其预测的准确率越低，赋予的权重应越小；权重的计算公式为：

${\mathrm{wf}}_j=(1-\frac{h_j}{{\mathrm{\Σ}}_j^m{h}_j})/m-1$

其中，h_j为属性j的熵，熵代表了属性取值范围的大小和离散程度的高低，其计算公式为：

$h_j=-\underset{f=1}{\overset{v}{\mathrm{\Σ}}}{p}_f\×{\log }_2\left(p_f\right)$

其中,v为取值的个数，p_f为属性取第f个值的概率；

最后整个数据集的总准确率为：

$A=\frac{{\mathrm{\Σ}}_{i=1}^t{\mathrm{wt}}_i{A}_i}{t}$

其中，wt_i为表i的权重，t为被评估数据集中表的总个数。权重的公式为：

${\mathrm{wt}}_i=\frac{{\mathrm{nt}}_i\×{\mathrm{nf}}_i}{{\mathrm{\Σ}}_{i=1}^{t}nt\×nf};$

其中，nt_i为表i的元组数，nf_i为整个数据集的属性数，nt为整个数据集的元组数，nf为整个数据集的属性数；

2、数据完整度I的计算

$I=\frac{n_{null}}{n_{item}}$

其中，n_null为缺失或为null的数据项个数,n_item为数据项总个数；

3、数据一致度C的计算

$C_i=1-\frac{n_{name}+n_{code}+n_{form}}{{\mathrm{fn}}_i};$

$W_i=\frac{{\mathrm{fn}}_i}{{\mathrm{\Σ}}_{i=1}^L{\mathrm{fn}}_i};$

$C=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{W}_i{C}_i$

此公式以数据集中一个数据库为考察对象，其中，Ci为被评估数据集第i个数据库的一致度；fn_i为第i个数据库中总属性数，n_name为第i个数据库中命名约定不一致的属性数，n_code为第i个数据库中所用数据代码不一致的属性数，n_form为第i个数据库中输入字段的格式不一致的属性数，L为被评估数据集中包含的数据库的个数,W_i为第i个数据库的权重；

4、数据时间价值T的计算

$C(t_c,t_p)=e^{-a(t_c-t_p)},T=C(t_c,t_p)=e^{-0.1(t_c-t_p)}$

其中，t_p表示信息发布的时间，t_c表示当前的时间，C(t_c,t_p)表示信息在t_c时刻的影响力大小，即t_c时刻的时间价值，a代表的是信息的老化率系数，老化率系数a设置为0.1；

5、通过公式评估数据质量

$Q_i=\frac{1}{4}(A+I+C+T)$

其中，Q_i是按照数据内容分类的第i类数据的数据质量因子；

二、数据规模评估，包括：

1、数据属性数的计算

1)数值数据的属性数计算

(1)通过公式计算数值属性A和B的相关系数r_A,B，

$r_{A,B}=\frac{{\mathrm{\Σ}}_{i=1}^n(a_i-\stackrel{\‾}{A})(b_i-\stackrel{\‾}{B})}{{\mathrm{n\σ}}_A{\mathrm{\σ}}_B}=\frac{{\mathrm{\Σ}}_{i=1}^n\left(a_i{b}_i\right)-n\stackrel{\‾}{A}\stackrel{\‾}{B}}{{\mathrm{n\σ}}_A{\mathrm{\σ}}_B}$

其中，n是数据元组的个数，a_i和b_i分别是元组i在A和B上值，和分别是A和B的均值，σ_A和σ_B分别是A和B的标准差；

(2)在得到相关系数后，对数值数据的属性数进行压缩，得到各属性的属性数之和；

2)标称、分类数据的属性数计算

(1)通过χ²检验来判断相关性；

${\mathrm{\χ}}^2={\mathrm{\Σ}}_{i=1}^c{\mathrm{\Σ}}_{j=1}^r\frac{{(o_{ij}-e_{ij})}^2}{e_{ij}}$

其中，o_ij是联合事件(A_i，B_j)的观测频度，而e_ij是(A_i，B_j)的期望频度；

$e_{ij}=\frac{count(A=a_i)\×count(B=b_i)}{n}$

其中，n是数据元组的个数，count(A＝a_i)是A上值为a_i的元组个数，count(B＝b_i)是B上值为b_i的元组个数；χ²统计检验假设A和B独立，基于检验水平，具有自由度(R-1)×(C-1)；通过上述公式计算χ²的值，再与χ²检验的拒绝域比较，则可判段两个属性的相关性；

根据多次计算检验，得到自相关的情况下χ²＝n,故在χ²>10.828的前提下，可将r_A,B作为两个属性之间的相关度，公式如下：

$r_{A,B}=\sqrt{\frac{{\mathrm{\χ}}^2}{nmin\[R-1,C-1\]}}$

其中，R，C是分类变量的类别数；

(2)在得到相关系数后，对数值数据的属性数进行压缩，属性压缩步骤：

①构建相关系数矩阵

其中，r_ij＝为属性f_i和f_j的相关度，R_i为属性f_i与其他属性相关性的总和，

$R_i={\mathrm{\Σ}}_{j=1}^n{r}_{ij}-1;i\∈\{1,2,...,n\};$

②将R矩阵的行按R_i从大到小的顺序排序，得到

③增加一列f₀代表单个属性初始规模基准

④压缩矩阵得到

⑤将对角线上的元素相加就得到压缩后的属性个数

fn_c＝r′₁₁+r′₂₂+…+r′_nn

2、直接统计得到数据表中的数据元组个数：tn_j；

3、单位信息量的计算

(1)离散型属性的信息熵计算公式为：

$H\left(X\right)=-{\mathrm{\Σ}}_{i=1}^{n}P\left(x_i\right){\log }_2\[P\left(x_i\right)\]$

其中，P(x_i)是每个属性值出现的概率；

(2)连续型属性的信息熵的计算：

先选择一种离散化方法对其离散化以后，再按离散型属性信息熵的计算公式进行计算；

(3)得到每个属性的信息熵后，求出属性的平均信息熵：

fn为压缩前单个数据表的属性数；

于是得到单个数据表规模的计算公式：

$S=tn\×{\mathrm{fn}}_c\×\stackrel{\‾}{H\left(A\right)}$

其中，S为某一张数据表的数据规模衡量因子(单位为bit),fn_c为此数据表压缩后的数据属性数，tn为此数据表的元组数,为所有属性的平均信息熵；

三、数据内容评估

采用AHP三标度法构造一个比较矩阵B＝(b_ij)_n×n,b_ij为同一层次上元素比较所得标度取值，具体为

用下式计算各元素的重要性排序指数：

$r_i={\mathrm{\Σ}}_{j=1}^n{b}_{ij},i=1,2,...,n.$

记r_max＝MAX{r_i},r_min＝MIN{r_i},b_m＝r_max/r_min,求出判断矩阵c＝(c_ij)_n×n:

$c_{ij}=\left\{\begin{array}{cc}\[(r_i-r_j)/(r_{max}-r_{min})\]\×(b_m-1)+1& r_i\≥r_j\\ {\{\[(r_j-r_i)/(r_{max}-r_{\min })\]\×(b_m-1)+1\}}^{-1}& r_i\<r_j\end{array}\right.$

从而得到

得到判断矩阵后，按以下步骤计算和检验：

(1)用方根法计算权重，公式如下：

$W_i=\frac{{\left({\mathrm{\Π}}_{j=1}^n{a}_{ij}\right)}^{\frac{1}{n}}}{{\mathrm{\Σ}}_{i=1}^n{\left({\mathrm{\Π}}_{j=1}^n{a}_{ij}\right)}^{\frac{1}{n}}},i=1,2,3,\mathrm{...},n.$

计算步骤:①将c的元素按行相乘得一新向量，

②将新向量的每个分量开n次方，

③将所得向量归一化即为权重向量；

(2)计算一致性指标CI

$CI=\frac{{\mathrm{\λ}}_{max}-n}{n-1}$

其中，λ_max为判断矩阵C的最大特征值；

(3)查找一致性指标RI

(4)计算一致性比例CR

$CR=\frac{CI}{RI}$

当CR<0.10时，认为判断矩阵的一致性是可以接受的，否则应对判断矩阵作适量修正；由此，得到以内容分类的每类数据的权重；

四、行业价值计算

1、取税收收入最高的行业，将其价值分数定为100；

2、将其他行业的税收与最高的行业税收相除，再乘以100，得到其他行业的行业价值；

五、数据资产价值计算

1、将数据质量因子Q_ij、数据规模因子S_ij以及按内容分类的权重W_i相乘，如果第i类数据包含多张数据表，则先计算单张数据表，再将这几张数据表的结果累加；

2、按内容分类的每类均按上述计算方法进行计算，得到的结果依次累加；

3、将累加的结果与计算得到的行业价值相乘得到数据资产的价值分数V；

4、通过价值分数V评估数据资产价值。