[发明专利]用于问答的数据处理方法以及装置、设备、存储介质

权利要求书

1.一种用于问答的数据处理方法，其特征在于，包括：

获取问答对数据，其中所述问答对数据中包括至少一个问题和至少一个答案，其中，所述问答对数据包括从聊天日志文件或者语料库中获取机器人客服对话的原始数据，并根据提供的语料类型、数据量、对话类型、数据结构、列表要素，清洗成结构化的对话数据格式，并区分客服和访客角色；所述清洗过的数据包括多个session的组成的集合，每个所述session由sessionId进行唯一标识，在一个session对话由多条数据组成，且在每一条数据包含了句子的id，句子所在session的sessionId，句子的发出者的角色，句子的内容；

根据所述问答对数据，生成初始问答对集合；

将所述初始问答对集合拆分为问题集合和答案集合；

对所述问题集合聚类，提取得到问题簇集合包括，对所述问题集合进行统计和去重，获得种子问题集合；

对所述种子问题集合进行聚类操作，并对聚类形成的簇进行关键词提取，形成问题簇集合；

将问题簇集合中簇的关键词集合进行统计和去重，得到关键词追踪簇，所述关键词追踪簇是指基于簇的关键词集合进行统计和去重，获取统计量为最高排名的多个词作为线索词，反向去找包含了这些词的簇，形成的word2Cluster集合；

根据经过预设处理后的问答对集合和所述问题簇集合，生成带有答案的问题簇集合；其中所述经过预设处理后的问答对集合是指在所述初始问答对集合上经过补充或者清洗过滤后得到的处理结果；

所述根据经过预设处理后的问答对集合还包括：

对所述答案集合进行统计和去重，获取种子答案；

根据所述种子答案，对所述初始问答对集合进行补充；

对所述问题集合进行统计和去重，获得种子问题集合；

将所述种子问题集合与所述初始问答对集合进行匹配；

根据匹配结果，生成经过预设处理后的问答对集合。

2.一种用于问答的数据处理装置，其特征在于，包括：

获取模块，用于获取问答对数据，其中所述问答对数据中包括至少一个问题和至少一个答案，其中，所述问答对数据包括从聊天日志文件或者语料库中获取机器人客服对话的原始数据，并根据提供的语料类型、数据量、对话类型、数据结构、列表要素，清洗成结构化的对话数据格式，并区分客服和访客角色；所述清洗过的数据包括多个session的组成的集合，每个所述session由sessionId进行唯一标识，在一个session对话由多条数据组成，且在每一条数据包含了句子的id，句子所在session的sessionId，句子的发出者的角色，句子的内容；

第一生成模块，用于根据所述问答对数据，生成初始问答对集合；

拆分模块，用于将所述初始问答对集合拆分为问题集合和答案集合；

对所述问题集合聚类，提取得到问题簇集合包括，对所述问题集合进行统计和去重，获得种子问题集合；

对所述种子问题集合进行聚类操作，并对聚类形成的簇进行关键词提取，形成问题簇集合；

聚类模块，用于将问题簇集合中簇的关键词集合进行统计和去重，得到关键词追踪簇，所述关键词追踪簇是指基于簇的关键词集合进行统计和去重，获取统计量为最高排名的多个词作为线索词，反向去找包含了这些词的簇，形成的word2Cluster集合；

第二生成模块，用于根据经过预设处理后的问答对集合和所述问题簇集合，生成带有答案的问题簇集合；其中所述经过预设处理后的问答对集合是指在所述初始问答对集合上经过补充或者清洗过滤后得到的处理结果；

所述根据经过预设处理后的问答对集合还包括：

对所述答案集合进行统计和去重，获取种子答案；

根据所述种子答案，对所述初始问答对集合进行补充；

对所述问题集合进行统计和去重，获得种子问题集合；

将所述种子问题集合与所述初始问答对集合进行匹配；

根据匹配结果，生成经过预设处理后的问答对集合。

3.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1所述的用于问答的数据处理方法的步骤。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1所述的用于问答的数据处理方法的步骤。