[发明专利]一种减小财政数据库储存量的方法

摘要

本发明涉及减小财政数据库存储量的方法，首先将从财政和税务处提取的实时数据进行预处理，然后对经过预处理的数据进行基于小波变换的数据压缩，得到能够反应数据重要特征的小波概要，最后将小波概要中的小波系数进行存储，进而可以重构实时数据。本发明有效地降低了现行地方财政和税务在数据预处理方面的巨额成本，应用这种方法能够实现在保存财政和税务数据完整信息的前提下，大大减少了数据存储和传输的大小，具有良好的实用价值。

主权项

1.减小财政数据库储存量的方法，包括以下步骤：1)压缩数据节点阈值过滤：假设数据流是稳定的，将数据流中不断到来的数据作为第1层，在相同的时间内到来的数据序列中平均由n个数据组成，则这n个数据组成一个数据节点，第1层的数据节点数有其中M为数据流的总数据个数；2)数据预处理：对实时数据流进行噪声处理，主要是对数据序列进行空缺值处理。假设数据序列的属性个数为m，如果空缺属性个数则认为该条数据流是噪声，直接过滤；反之，将空缺属性补充为所有该属性所有取值的平均值；3)压缩处理：将第1层每n个数据组成的子序列进行浓缩，提炼成第2层中的一个数据节点，记该子序列为d_i，该数据节点为p_i，则p_i中保存了d_i的概要信息。随着新数据的不断到来，第2层上的数据节点不断增加，当第2层上的数据节点个数时，将最老的n个数据节点进行归并，合并成第3层上的1个数据节点，并计算数据节点的概要信息，以此逐层向上，从而使得该数据流总是被压缩成一组分层次的数据节点，最后构造一棵能够存储小波系数的误差树；误差树中，节点c_i对应小波系数，叶节点x_ij对应原始数据。对一给定的误差树T和T中的内节点c_k，令leaves_k表示以c_k为根的子树的叶节点集合，leftleaves_k表示c_k的左子树的叶节点集合，rightleaves_k表示c_k的右子树的叶节点集合，path_k为T中从c_k(或x_ij)到根的路径上全体非零系数的集合。设a_k是leftleaves_k中数据的均值，b_k是rightleaves_k中数据的均值，则c_k＝(a_k-b_k)/2，而c₁是全部数据的均值；包括以下步骤：首先：数据流x_i＝{x_i1，x_i2，Λ，x_iq}，将x_i＝{x_i1，x_i2，Λ，x_iq}中的数据两两分对求其均值和均值与第二个数据的差值，则差值就是第2层的数据节点，也是相应的小波系数c_2k；其次：计算误差树中第3层的小波系数。令leaves_k表示以c_k为根的子树的叶节点集合，leftleaves_k表示c_k的左子树的叶节点集合，rightleaves_k表示c_k的右子树的叶节点集合。设a_k是leftleaves_k中数据的均值，b_k是rightleaves_k中数据的均值，则c_3k＝(a_k-b_k)/2；最后：依次继续计算，直至误差树的最高层的小波系数，它也等于全部数据的平均值；4)小波系数的筛选：其遵循的原则：一是绝对值大的系数的缺失会对相关的数据值的重构有更大的影响；二是从误差树上易知，越接近根的系数用于重构时影响的数据越多，具有更高的重要性。本发明运用误差平方和(sum of squared error)sse：来进行小波系数的筛选，其中D表示压缩之前的数据序列，D′表示压缩之后的数据序列，x_i是数据序列D的第i个数据，x′_i是数据序列D′的第i个数；设对子序列x_i＝{x_i1，x_i2，Λ，x_iq}，提取得到的数据节点p_i概要信息表示成四元组其中t＝t(x_n)，n＝|D|，t为该数据节点的时间戳，表示d中最后一个数据的到达时刻，n为d中数据个数，为d中数据的均值。对d进行DWT变换，Γ分量中保存变换得到的r＜n个最重要的小波系数，r取使最小的前r个。对子序列x_i进行小波变换，对小波系数进行规范化，Γ分量中保存得到的n个系数中最重要的r个系数，因为系数重要性的衡量基于sse最小化，所以Γ中应保留r个绝对值最大的系数。