[发明专利]基于大数据分析自动归类资质证书文件的方法及装置

说明书

本发明涉及招标采购管理技术领域，提供一种基于大数据分析自动归类资质证书文件的方法及装置，用于解决资质文件的分类问题。本发明提供的基于大数据分析自动归类资质证书文件的方法，包括：根据资质类别采集图像；将采集到的图像划分为多个图像块，得到预处理后的图像块；将K‑means算法并行化，以所述预处理后的图像块信息作为输入，进行字典的提取；提取字典后，将预处理后的图像块信息映射为新的特征表达，得到输入信息；训练神经网络，得到训练完成的资质图像识别神经网络；获取待识别的投标文件中的资质图像，输入资质图像识别神经网络进行分类。提高了资质图片的分类效率，大幅提高了供应商评价的准确率，提高了招标采购的速度。

技术领域

本发明涉及招标采购管理技术领域，具体涉及基于大数据分析自动归类资质证书文件的方法及装置。

背景技术

按照广电企[2019]8号文《关于印发公司深化招标管理改革任务分解表的通知》整体要求，通过利用供应商数据重构等技术实现智能推荐、风险分析与智能预警，保证招标采购遴选供应商合规高效，防范采购过程中由于供应商自身风险导致履约、审计的风险。

招标采购过程中，投标方需要提供大量的资质文件的扫描件，招标方需要对很多资质文件进行分类，以对供应商进行评价，但是现在缺乏这种对资质文件分类的方法。

发明内容

本发明解决的技术问题为资质文件的分类问题，提供基于大数据分析自动归类资质证书文件的方法。

为了解决上述技术问题，本发明提供的技术方案为：

基于大数据分析自动归类资质证书文件的方法，包括：

获取招标采购要求的资质类别，根据上述资质类别采集图像，每个资质类别采集不少于一张图像；

将采集到的图像划分为多个图像块，对每个图像块进行正则化和白化处理以去除干扰信息、保留关键信息，得到预处理后的图像块；

将K-means算法并行化，以所述预处理后的图像块信息作为输入，进行字典的提取；

提取字典后，构建特征映射函数，将预处理后的图像块信息映射为新的特征表达，得到输入信息；

将输入信息输入神经网络中进行训练，构建损失函数，以损失函数最小为目标，至顺势函数小于训练阈值，得到训练完成的资质图像识别神经网络；

获取待识别的投标文件中的资质图像，进行图像块划分、正则化、白化处理后，再进行特征提取后，输入资质图像识别神经网络进行分类。

资质图片预处理后产生了大量的图像块，采用聚类算法提取特征，再将提取的特征输入神经网络进行训练得到的神经网络可以有效地对资质图片进行分类。

提高了资质图片的分类效率，大幅提高了供应商评价的准确率，提高了招标采购的速度。

优选地，所述字典的提取过程为：预处理后的图像块作为Map节点的输入，首先初始化聚类中心，多个Map节点并行的读取预处理后的图像块数据，并计算分配到每个聚类中心的元素，之后在Reduce节点上，统计每个类别的所有元素，重新计算新的聚类中心，对比新的聚类中心和之前的聚类中心的变化是否小于设定的阈值，若小于，则迭代结束，输出聚类中心，否则更新聚类中心，重新开始新的一轮迭代过程。

优选地，将预处理后的图像块信息映射为新的特征表达的方法为：

将所述字典并行化的分配给多个Map节点，同时输入新的无标签的图像数据集给每个Map节点，对Map节点上的图像数据集进行特征学习，将输入图像数据进行特征映射得到新的特征表达。聚类算法处理后，得到新的特征用于神经网络分类可以有效提高资质图片分类的准确率。

优选地，所述损失函数为：