[发明专利]一种数据分析方法及装置

说明书

本发明实施例提供了一种数据分析方法及装置，该数据分析方法中，终端可以对目标数据列表和历史数据列表中的每个数据名称进行分词，获得每个数据名称的分词结果；分别计算该目标数据列表中的每个数据名称的分词结果与该历史数据列表中每个数据名称的分词结果之间的相似度值；确定该目标数据列表中分词结果与该历史数据列表中所有数据名称的分词结果之间的相似度值均小于第一预设阈值的数据名称；将该确定的均小于第一预设阈值的数据名称对应的数据标识为新数据；将该新数据添加到新数据列表中。与传统的将与历史数据列表中的数据名称不同的数据就归为新数据的方法相比，可以降低新数据判断的错误率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据分析方法及装置。

背景技术

目前，通信技术的快速发展，正在对人们的生活方式产生不可估量的巨大影响。为了实时获取人们生活、工作及学习的发展趋势，对海量数据的监控和管理变得非常重要。例如，数据监控可以及时获取网络中产生的新数据，通过对这些新数据的分析和处理可以有效确定人们关注的热点以及经济、政治等的发展动向。

然而，在实践中发现，根据所获取的数据的名称与历史数据的名称是否相同来判断所获取的数据是否为新数据，常常导致判断错误。

发明内容

本发明实施例提供了一种数据分析方法及装置，能够降低新数据的判断错误率。

本发明实施例第一方面提供了一种数据分析方法，包括：

对目标数据列表和历史数据列表中的每个数据名称进行分词，获得每个数据名称的分词结果；

分别计算所述目标数据列表中的每个数据名称的分词结果与所述历史数据列表中每个数据名称的分词结果之间的相似度值；

确定所述目标数据列表中分词结果与所述历史数据列表中所有数据名称的分词结果之间的相似度值均小于第一预设阈值的数据名称；

将所述确定的均小于第一预设阈值的数据名称对应的数据标识为新数据；

将所述新数据添加到新数据列表中。

本发明实施例第二方面提供了一种数据分析装置，包括：

分词单元，用于对目标数据列表和历史数据列表中的每个数据名称进行分词，获得每个数据名称的分词结果；

计算单元，用于分别计算所述目标数据列表中的每个数据名称的分词结果与所述历史数据列表中每个数据名称的分词结果之间的相似度值；

确定单元，用于根据所述计算单元计算的相似度值确定所述目标数据列表中分词结果与所述历史数据列表中所有数据名称的分词结果之间的相似度值均小于第一预设阈值的数据名称；

标识单元，用于将所述确定单元确定的均小于第一预设阈值的数据名称对应的数据标识为新数据；

添加单元，用于将标识单元标识的新数据添加到新数据列表中。

本发明实施例中，终端可以对目标数据列表和历史数据列表中的每个数据名称进行分词，获得每个数据名称的分词结果；分别计算该目标数据列表中的每个数据名称的分词结果与该历史数据列表中每个数据名称的分词结果之间的相似度值；确定该目标数据列表中分词结果与该历史数据列表中所有数据名称的分词结果之间的相似度值均小于第一预设阈值的数据名称；将该确定的均小于第一预设阈值的数据名称对应的数据标识为新数据；将该新数据添加到新数据列表中。与传统的将与历史数据列表中的数据名称不同的数据就归为新数据的方法相比，可以降低新数据判断的错误率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。