[发明专利]短文本数据聚合系统及方法

摘要

本发明涉及一种短文本数据聚合系统，包括：数据获取模块，用于获取短文本数据的第一集合、待聚合短文本数据；数据抽取模块，用于形成第一字段属性数据的第二集合以及第二字段属性数据；以及数据聚合模块，包括候选数据查询单元、相似度计算单元以及短文本数据聚合单元；其中，候选数据查询单元从第二集合中查询与第二字段属性数据相关的若干个第一字段属性数据，相似度计算单元计算每一第一字段属性数据与第二字段属性数据之间的相似度，短文本数据聚合单元将相似度最高的第一字段属性数据所对应的短文本数据与待聚合文本数据进行数据聚合。基于该系统的数据聚合过程匹配准确率高、系统执行效率高。该系统逻辑简单、配置方便。

主权项

一种短文本数据聚合系统，包括：数据获取模块，其包括内部数据加载单元和外部数据获取单元，所述内部数据加载单元从所述系统的数据存储模块获取短文本数据的第一集合，所述外部数据获取单元从所述系统的外部获取待聚合短文本数据；数据抽取模块，与所述数据获取模块耦合，其包括字段抽取单元，所述字段抽取单元从所述第一集合中分别抽取各所述短文本数据的参与聚合的字段，以形成第一字段属性数据的第二集合，并从所述待聚合短文本数据中抽取参与聚合的字段，以形成第二字段属性数据；以及数据聚合模块，与所述数据抽取模块耦合，其包括候选数据查询单元、相似度计算单元以及短文本数据聚合单元；其中，所述候选数据查询单元从所述第二集合中查询与所述第二字段属性数据相关的若干个所述第一字段属性数据，以形成所述第一字段属性数据的第三集合，所述相似度计算单元计算所述第三集合中的每一所述第一字段属性数据与所述第二字段属性数据之间的相似度，所述短文本数据聚合单元将所述第三集合中、与所述第二字段属性数据相似度最高的所述第一字段属性数据所对应的所述短文本数据与所述待聚合文本数据进行数据聚合。