[发明专利]数据处理方法及其设备

说明书

本公开提供了一种数据处理方法，该方法包括：获取语料数据，其中，与语料数据对应的语料包含至少一个语句；基于语料数据对语料进行分句处理，以得到至少一个语句数据，其中，每个语句数据对应的语句包含一个或者多个；基于分句处理结果，确定至少一个语句数据中第一语句数据包含的主题词集合；以及按照预设规则从主题词集合中选出满足预设条件的主题词作为第一语句数据的主题词。本公开还提供了一种数据处理系统以及一种数据处理设备。

技术领域

本公开涉及一种数据处理方法及其设备。

背景技术

随着电子商务技术和互联网技术的发展，用户可以通过多种渠道对其关注的企业或者产品发布评价，这些评论一般会涉及企业或者产品的多个主题，如何对这些海量的评论语料进行处理，识别出评论语料的主题，对舆情分析有非常重要的指导意义。

在实现本公开的过程中，发明人发现现有技术中至少存在如下问题，面对海量的语料，难以准确地识别出评论语料的主题。

针对相关技术中的上述问题，目前还未提出有效的解决方案。

发明内容

有鉴于此，本公开提供了一种数据处理方法、数据处理系统及数据处理设备。

本公开的一个方面提供了一种数据处理方法，包括：获取语料数据，其中，与上述语料数据对应的语料包含至少一个语句；基于上述语料数据对上述语料进行分句处理，以得到至少一个语句数据，其中，每个语句数据对应的语句包含一个或者多个；基于分句处理结果，确定上述至少一个语句数据中第一语句数据包含的主题词集合；以及按照预设规则从上述主题词集合中选出满足预设条件的主题词作为上述第一语句数据的主题词。

可选地，基于上述语料数据对上述语料进行分句处理，以得到至少一个语句数据包括：确定上述语料的语料来源，其中，不同的语料来源对应于不同的语料分句处理规则；基于确定出的语料来源，获取用于对上述语料的第一语料进行分句处理的规则；以及基于上述第一 语料分句处理规则和上述语料数据对上述语料进行分句处理，以得到至少一个语句数据。

可选地，确定上述至少一个语句数据中第一语句数据包含的主题词集合包括：从上述至少一个语句数据中确定出关键句，其中，上述关键句根据上述至少一个语句数据中各语句数据之间的相似度确定；分析获取上述关键句包含的主题词集合，以及按照预设规则从上述主题词集合中选出满足预设条件的主题词作为上述第一语句数据的主题词包括：按照主题词权重值的大小从上述关键句包含的主题词集合中选出权重值最高的主题词作为上述关键句的主题词。

可选地，当确定上述至少一个语句数据中的第二语句数据不是上述关键句时，确定上述第二语句数据的主题词集合；获取与上述第二语句数据相邻的第三语句数据的主题词；若上述第二语句数据的主题词集合包含上述第三语句的主题词，则将上述第三语句数据的主题词作为上述第二语句的主题词；或者若上述第二语句数据的主题词集合不包含上述第三语句的主题词，则按照主题词权重值的大小从上述第二语句数据的主题词集合中选出权重值最高的主题词作为上述第二语句数据的主题词。

可选地，若上述第二语句数据的主题词集合为空集，则将上述第三语句数据的主题词作为上述第二语句的主题词，或按照主题词权重值的大小从上述第三语句数据的主题词集合中选出权重值最高的主题词作为上述第二语句数据的主题词。

可选地，当上述第二语句数据为上述关键句的相邻句时，上述第三语句数据为上述关键句。

本公开的另一个方面提供了一种数据处理系统，包括：获取模块，用于获取语料数据，其中，与上述语料数据对应的语料包含至少一个语句；处理模块，用于基于上述语料数据对上述语料进行分句处理，以得到至少一个语句数据，其中，每个语句数据对应的语句包含一个或者多个；确定模块，用于确定上述至少一个语句数据中第一语句数据包含的主题词集合；以及选择模块，用于按照预设规则从上述主题词集合中选出满足预设条件的主题词作为上述第一语句数据的主题词。