[发明专利]一种聊天语料自清洗方法、装置和用户终端

摘要

本发明提供了一种聊天语料自清洗方法、装置和用户终端，其中所述方法包括：根据问答对语料的词单元及其词向量构建神经网络模型；根据所述神经网络模型对所述问答对语料进行评估预测，得到预测评估结果；根据所述预测评估结果对所述问答对语料进行语料清洗，得到目标对话语料。本发明所提供方法实现人机交互过程中，对聊天语料的非人工的智能自清洗，可通过语料智能自清洗对海量语料进行筛选，语料清洗效率高、速度快，省去了大量人工参与进行语料筛选清洗的步骤，大大降低了开发成本，为人工智能开发人员的工作带来了极大的方便。

主权项

1.一种聊天语料自清洗方法，其特征在于，包括：

根据问答对语料的词单元及其词向量构建神经网络模型；

根据所述神经网络模型对所述问答对语料进行评估预测，得到预测评估结果；

根据所述预测评估结果对所述问答对语料进行语料清洗，得到目标对话语料。

2.如权利要求1所述聊天语料自清洗方法，其特征在于，所述“根据问答对语料的词单元及其词向量构建神经网络模型”包括：

对所述问答对语料中的每个问语料和答语料设置第一语料标签；

抽取所述问答对语料中的所述问语料和所述答语料进行随机对应，并设置第二语料标签；

对随机对应的所述问答对语料中的所述问语料和所述答语料进行分词处理，并构建词单元向量化矩阵；

根据所述词单元向量化矩阵得到随机对应的所述问语料和所述答语料的匹配值；

基于所述词单元向量化矩阵，根据所述第一语料标签和所述第二语料标签所述匹配值进行参数学习，构建神经网络模型。

3.如权利要求2所述聊天语料自清洗方法，其特征在于，所述“根据所述词单元向量化矩阵得到随机对应的所述问语料和所述答语料的匹配值”包括：

基于所述词单元向量化矩阵，获取所述问语料和所述答语料中的每个词单元的词向量；

构建随机问答对矩阵，并基于所述随机问答对矩阵对所述词向量计算得出所述问语料和所述答语料的匹配值。

4.如权利要求3所述聊天语料自清洗方法，其特征在于，所述“构建随机问答对矩阵，并基于所述随机问答对矩阵对所述词向量计算得出所述问语料和所述答语料的匹配值”包括：

对所述问语料中每个所述词单元的所述词向量进行求和平均，得到问语料向量均值；对所述答语料中每个所述词单元的所述词向量进行求和平均，得到答语料向量均值；

构建随机问答对矩阵；

根据所述随机问答对矩阵对所述问语料向量均值和所述答语料向量均值进行求sigmoid函数计算，得到所述问语料和所述答语料的匹配值。

5.如权利要求1所述聊天语料自清洗方法，其特征在于，所述“根据所述预测评估结果对所述问答对语料进行语料清洗，得到目标对话语料”包括：

删除所述预测评估结果中低评分的所述问答对语料，得到清洗后语料，并将所述清洗后语料对应的预测评估结果与预设语料质量值进行匹配；

若所述清洗后语料对应的所述预测评估结果与所述预设语料质量值匹配，则输出目标对话语料；

若所述清洗后语料对应的所述预测评估结果与所述预设语料质量值不匹配，则返回所述“根据问答对语料的词单元及其词向量构建神经网络模型”。

6.如权利要求1所述聊天语料自清洗方法，其特征在于，所述“根据问答对语料的词单元及其词向量构建神经网络模型”之前，还包括：

获取文本语料，并建立与所述文本语料对应的文本语料库；

构建所述文本语料库中所有词的所述词向量；

提取所述文本语料库中的所述问答对语料，并进行分词处理，得到所述词单元。

7.如权利要求6所述聊天语料自清洗方法，其特征在于，所述“构建所述文本语料库中所有词的所述词向量”包括：

利用word2vec技术对所述文本语料库进行训练，构建所述文本语料库中所有词的所述词向量。

8.一种聊天语料自清洗装置，其特征在于，包括：构建模块、预测模块和清洗模块；

所述构建模块，用于根据问答对语料的词单元及其词向量构建神经网络模型；

所述预测模块，用于根据所述神经网络模型对所述问答对语料进行评估预测，得到预测评估结果；

所述清洗模块，用于根据所述预测评估结果对所述问答对语料进行语料清洗，得到目标对话语料。

9.一种用户终端，其特征在于，包括存储器以及处理器，所述存储器用于存储聊天语料自清洗程序，所述处理器运行所述聊天语料自清洗程序以使所述用户终端执行如权利要求1‑7中任一项所述聊天语料自清洗方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有聊天语料自清洗程序，所述聊天语料自清洗程序被处理器执行时实现如权利要求1‑7中任一项所述聊天语料自清洗方法。