[发明专利]基于大数据分析自动归类资质证书文件的方法及装置

权利要求书

1.基于大数据分析自动归类资质证书文件的方法，其特征在于，包括：

获取招标采购要求的资质类别，根据上述资质类别采集图像，每个资质类别采集不少于一张图像；

将采集到的图像划分为多个图像块，对每个图像块进行正则化和白化处理以去除干扰信息、保留关键信息，得到预处理后的图像块；

将K-means算法并行化，以所述预处理后的图像块信息作为输入，进行字典的提取；

提取字典后，构建特征映射函数，将预处理后的图像块信息映射为新的特征表达，得到输入信息；

将输入信息输入神经网络中进行训练，构建损失函数，以损失函数最小为目标，至顺势函数小于训练阈值，得到训练完成的资质图像识别神经网络；

获取待识别的投标文件中的资质图像，进行图像块划分、正则化、白化处理后，再进行特征提取后，输入资质图像识别神经网络进行分类。

2.根据权利要求1所述的基于大数据分析自动归类资质证书文件的方法，其特征在于，所述字典的提取过程为：预处理后的图像块作为Map节点的输入，首先初始化聚类中心，多个Map节点并行的读取预处理后的图像块数据，并计算分配到每个聚类中心的元素，之后在Reduce节点上，统计每个类别的所有元素，重新计算新的聚类中心，对比新的聚类中心和之前的聚类中心的变化是否小于设定的阈值，若小于，则迭代结束，输出聚类中心，否则更新聚类中心，重新开始新的一轮迭代过程。

3.根据权利要求1所述的基于大数据分析自动归类资质证书文件的方法，其特征在于，将预处理后的图像块信息映射为新的特征表达的方法为：

将所述字典并行化的分配给多个Map节点，同时输入新的无标签的图像数据集给每个Map节点，对Map节点上的图像数据集进行特征学习，将输入图像数据进行特征映射得到新的特征表达。

4.根据权利要求2所述的基于大数据分析自动归类资质证书文件的方法，其特征在于，所述损失函数为：

其中，n=1,2，……N，N表示每一类别样本的总数，k=1,2……K，K表示类别数，表示图像识别神经网络计算得到的第n个样本的输出结果为第k类情况下的激活函数值，表示第n个样本为第k类的概率，表示第一损失计算参数值，表示第二损失计算参数值，R()表示正则化，W表示图像识别神经网络的一个网络参数，为图像识别神经网络的另一个网络参数。

5.根据权利要求1所述的基于大数据分析自动归类资质证书文件的方法，其特征在于，所述为softmax函数。

6.基于大数据分析自动归类资质证书文件的装置，其特征在于，包括：

图像获取模块，所述图像获取模块获取招标采购要求的资质类别，根据上述资质类别采集图像，每个资质类别采集不少于一张图像；

预处理模块，所述预处理模块将采集到的图像划分为多个图像块，对每个图像块进行正则化和白化处理以去除干扰信息、保留关键信息，得到预处理后的图像块；

聚类模块，所述聚类模块将K-means算法并行化，以所述预处理后的图像块信息作为输入，进行字典的提取；

特征提取模块，所述特征提取摸块提取字典后，构建特征映射函数，将预处理后的图像块信息映射为新的特征表达，得到输入信息；

训练模块，所述训练模块将输入信息输入神经网络中进行训练，构建损失函数，以损失函数最小为目标，至顺势函数小于训练阈值，得到训练完成的资质图像识别神经网络；

分类模块，所述分类模块获取待识别的投标文件中的资质图像，进行图像块划分、正则化、白化处理后，再进行特征提取后，输入资质图像识别神经网络进行分类。

7.根据权利要求6所述的基于大数据分析自动归类资质证书文件的装置，其特征在于，所述聚类模块提取字典的方法包括：

预处理后的图像块作为Map节点的输入，首先初始化聚类中心，多个Map节点并行的读取预处理后的图像块数据，并计算分配到每个聚类中心的元素，之后在Reduce节点上，统计每个类别的所有元素，重新计算新的聚类中心，对比新的聚类中心和之前的聚类中心的变化是否小于设定的阈值，若小于，则迭代结束，输出聚类中心，否则更新聚类中心，重新开始新的一轮迭代过程。