[发明专利]基于大数据的行业分类方法、装置、设备及存储介质

权利要求书

1.一种基于大数据的行业分类方法，其特征在于，所述基于大数据的行业分类方法包括以下步骤：

通过分布式爬虫技术抓取第一网页数据，其中，所述数据包括企业名称、企业法定经营范围、企业实际业务经营范围；

判断抓取到的所述第一网页数据的数量和抓取所述第一网页数据所消耗的时长是否满足预置条件；

若是，则将所述第一网页数据作为训练样本数据，若否，则通过分布式爬虫技术抓取第二网页数据，其中，所述训练样本数据包括第一训练样本数据和第二训练样本数据；

对第一训练样本数据中的企业名称、企业法定经营范围、企业实际业务经营范围分别进行中文分词，得到对应的分词数据；

对所述分词数据进行数据清洗，得到多个词组数据，其中，所述数据清洗包括：去除词长度小于1的词、去除停用词以及去除重复词；

将所有词组数据映射成向量，得到待训练的词向量；

构建基于单隐层前馈神经网络的数学模型，并以所述词向量为单隐层前馈神经网络输入层的训练样本，以样本标签为单隐层前馈神经网络输出层的训练样本，对所述数学模型进行训练，生成行业分类模型；

将第二训练样本数据输入所述行业分类模型进行处理，得到第一分类结果；

判断所述第一分类结果是否大于或等于第一预置召回率；

若是，则通过所述业分类模型对待分类数据进行分类，得到行业分类结果，若否，通过分布式爬虫技术抓取第三网页数据，以及将所述第三网页数据转化为矩阵的形式，通过计算余弦相似度来确定与目标数据的关度程度最高的网页数据；

所述将第二训练样本数据输入所述行业分类模型进行处理，得到第一分类结果的步骤之前，所述方法还包括：

将第三训练样本输入所述行业分类模型进行处理，得到多个第二分类结果；

判断所述第二分类结果的召回率是否满足第二预置召回率；

若所述第二分类结果满足所述第二预置召回率，执行所述将第二训练样本数据输入所述行业分类模型进行处理，得到第一分类结果的步骤；

若所述第二分类结果不满足所述第二预置召回率，执行所述构建基于单隐层前馈神经网络的数学模型，并以所述词向量为单隐层前馈神经网络输入层的训练样本，以样本标签为单隐层前馈神经网络输出层的训练样本，对所述数学模型进行训练，生成行业分类模型的步骤。

2.如权利要求1所述的基于大数据的行业分类方法，其特征在于，所述判断抓取到的所述第一网页数据的数量和抓取所述第一网页数据所消耗的时长是否满足预置条件包括以下步骤：

判断抓取到的第一网页数据的数量是否满足预设阈值；

若是，则停止抓取所述第一网页数据，将抓取到的数据作为训练样本数据；

若否，则判断抓取所述第一网页数据所消耗的时长是否超过预设时长；

若超过抓取数据的预设时长，则将所述第一网页数据作为训练样本数据，若未超过抓取数据的预设时长，则判断抓取所述第一网页数据所消耗的时长是否超过预设时长。

3.如权利要求1或2所述的基于大数据的行业分类方法，其特征在于，在所述将第二训练样本数据输入所述行业分类模型进行处理，得到第一分类结果的步骤之前，还包括以下步骤：

将第三训练样本输入行业分类模型进行处理，得到多个第二分类结果；

根据预置行业分类结果，通过召回率公式计算所述第二分类结果的召回率；

判断所述第二分类结果的召回率是否满足第二预置召回率；

若是，则将第二训练样本数据输入所述行业分类模型进行处理，得到第一分类结果，若否，则构建基于单隐层前馈神经网络的数学模型，并以所述词向量为单隐层前馈神经网络输入层的训练样本，以样本标签为单隐层前馈神经网络输出层的训练样本，对所述数学模型进行训练，生成行业分类模型。