[发明专利]行业热点发现方法及装置

权利要求书

1.一种行业热点发现方法，其特征在于，包括：

获取行业数据；

对所述行业数据进行噪声过滤得到低噪声行业数据；

根据预设维度从所述低噪声行业数据中提取针对性行业数据；

对所述针对性行业数据进行聚类分析得到行业热点。

2.根据权利要求1所述的行业热点发现方法，其特征在于，所述对所述行业数据进行噪声过滤得到低噪声行业数据，包括：

通过噪声词典过滤行业数据中的基本噪声数据；

根据所述基本噪声数据获取噪声信源；

根据所述噪声信源过滤所述行业数据中的基本噪声数据对应的噪声信源，得到初级过滤行业数据。

3.根据权利要求2所述的行业热点发现方法，其特征在于，所述对所述行业数据进行噪声过滤得到低噪声行业数据，还包括：

通过所述噪声词典和噪声信源获取噪声数据；

根据行业数据对应的媒体类型，获取预设数量的非噪声数据；

根据所述噪声数据和非噪声数据构建噪声数据集；

基于所述噪声数据集训练预设噪声模型；

将所述初级过滤行业数据输入训练好的噪声模型，得到低噪声行业数据。

4.根据权利要求1所述的行业热点发现方法，其特征在于，所述预设维度为发布时间，所述根据预设维度从所述低噪声行业数据中提取针对性行业数据，包括：

从所述低噪声行业数据中提取预设发布时间范围内的行业数据。

5.根据权利要求1所述的行业热点发现方法，其特征在于，所述预设维度为制定行业信源，所述根据预设维度从所述低噪声行业数据中提取针对性行业数据，包括：

从所述低噪声行业数据中提取制定行业信源对应的行业数据。

6.根据权利要求1所述的行业热点发现方法，其特征在于，所述对所述针对性行业数据进行聚类分析得到行业热点，包括：

将所述针对性行业数据中进行分割，得到数据段；

对每个数据段中关键数据进行分词，计算出每个关键数据的TF-IDF权重向量；

将每个数据段中所有TF-IDF权重向量输入DBSCAN算法，输出每个数据段中每个关键数据对应的标签，相同的标签聚类到同一个簇；

统计每个数据段中每个簇中关键数据的数量，根据关键数据数量选取对应数据段中第一预设数量的簇；

将每个数据段中第一预设数量的簇中的关键数据进行汇集，对汇集后关键数据重新进行聚类得到针对性行业数据中第二预设数量的簇，将第二预设数量的簇中关键数据作为行业热点。

7.根据权利要求6所述的行业热点发现方法，其特征在于，还包括：

获取第二预设数量的簇中每个簇内每个关键数据对应有发布时间和信源；

计算时间特征得分和信源特征得分；

根据所述时间特征得分和信源特征得分计算每个簇的综合得分；

根据每个簇的综合得分选取第三预设数量的簇；

按照预设信用级别选取第三预设数量的簇中的关键数据作为行业热点。

8.根据权利要求6或7所述的行业热点发现方法，其特征在于，所述关键数据为标题数据。

9.根据权利要求1所述的行业热点发现方法，其特征在于，所述获取行业数据，包括：

按照预设时间段间隔从事务消息队列中获取流式数据；

通过预设行业标签字段，从流式数据中选取行业数据，所述行业数据包括标题、url和网站字段。

10.一种行业热点发现装置，其特征在于，包括：

获取模块，用于获取行业数据；

过滤模块，用于对所述行业数据进行噪声过滤得到低噪声行业数据；

提取模块，用于根据预设维度从所述低噪声行业数据中提取针对性行业数据；

聚类模块，用于对所述针对性行业数据进行聚类分析得到行业热点。