[发明专利]基于大数据的行业分类方法、装置、设备及存储介质

说明书

本发明涉及大数据技术领域，公开了一种基于大数据的行业分类方法，包括以下步骤subgt;：/subgt;通过分布式爬虫技术抓取第一网页数据；对所述数学模型进行训练，生成行业分类模型；若模型分类结果不满足预置条件，则抓取第二网页数据，判断分类结果是否满足第一预置召回率，若是，则通过业分类模型对待分类数据进行分类，否则通过分布式爬虫技术抓取第三网页数据，通过计算余弦相似度来确定与目标数据的关度程度最高的网页数据。本发明还公开了一种基于大数据的行业分类装置、设备及计算机可读存储介质。本发明提供的基于大数据的行业分类方法解决了现有技术中由训练样本不足而造成的行业类型分类召回率低的技术问题。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于大数据的行业分类方法、装置、设备及计算机可读存储介质。

背景技术

行业类型是分析企业情况的一项重要指标，行业类型不同，意味着分析这个企业的标准也要区分对待，由于有些企业存在超越法定经营范围进行经营的行为，若不对企业所属的行业进行全面分类，则不利于市场监管，现有的分类模型一般只注重于分类的正确率，而在整个大数据场景下很难无遗漏地进行全面分类，因此，如何在整个大数据场景下无遗漏地进行分类，是本领域技术人员亟待解决的技术问题。

发明内容

本发明的主要目的在于提供一种基于大数据的行业分类方法、装置、设备及计算机可读存储介质，旨在解决现有技术中由训练样本不足而造成的行业类型分类召回率低的技术问题。

为实现上述目的，本发明提供一种基于大数据的行业分类方法，所述基于大数据的行业分类方法包括以下步骤：

通过分布式爬虫技术抓取第一网页数据，其中，所述数据包括企业名称、企业法定经营范围、企业实际业务经营范围；

判断抓取到的所述第一网页数据的数量和抓取所述第一网页数据所消耗的时长是否满足预置条件；

若当前的抓取满足预置条件，则将所述第一网页数据作为训练样本数据，若当前的抓取未满足预置条件，则通过分布式爬虫技术所述第一网页数据，其中，所述训练样本数据包括第一训练样本数据和第二训练样本数据；

对第一待训练样本数据中的企业名称、企业法定经营范围、企业实际业务经营范围分别进行中文分词，得到对应的分词数据；

对所述分词数据进行数据清洗，得到多个词组数据，其中，所述数据清洗包括：去除词长度小于1的词、去除停用词以及去除重复词；

将所有词组数据映射成向量，得到待训练的词向量；

构建基于单隐层前馈神经网络的数学模型，并以所述词向量为单隐层前馈神经网络输入层的训练样本，以样本标签为单隐层前馈神经网络输出层的训练样本，对所述数学模型进行训练，生成行业分类模型；

将第二训练样本数据输入所述行业分类模型进行处理，得到第一分类结果；

判断所述第一分类结果是否大于或等于第一预置召回率；

若所述第一分类结果大于或等于第一预置召回率，则通过所述业分类模型对待分类数据进行分类，得到行业分类结果，若所述第一分类结果小于第一预置召回率，通过分布式爬虫技术抓取第三网页数据，以及将所述第三网页数据转化为矩阵的形式，通过计算余弦相似度来确定与目标数据的关度程度最高的网页数据。

可选地，所述判断抓取到的所述第一网页数据的数量和抓取所述第一网页数据所消耗的时长是否满足预置条件包括以下步骤：

判断抓取到的第一网页数据的数量是否满足预设阈值；

若抓取到的所述第一网页数据的数量满足预设阈值，则停止抓取所述第一网页数据，将抓取到的数据作为训练样本数据；

若抓取到的第一网页数据的数量未满足预设阈值，则判断抓取所述第一网页数据所消耗的时长是否超过预设时长；