[发明专利]低质言论识别方法、装置、设备及计算机可读存储介质

说明书

本发明实施例提供一种低质言论识别方法、装置、设备及计算机可读存储介质。本发明实施例的方法，通过语言模型计算言论数据的困惑度值，根据言论数据的困惑度值，识别出不符合客观语言表达习惯的无意义类型的低质言论；利用对应低质类型的训练集训练得到的多个对应不同低质类型的识别模型，若言论数据不属于无意义类型，将言论数据输入多个对应不同低质类型的识别模型，分别对言论数据是否是各识别模型对应低质类型的低质言论进行识别，也就是分别针对各低质类型对言论数据进行识别；确定言论数据为低质言论后，还可确定言论数据的低质类型；提高了低质言论识别的准确性和效率，且语言模型和识别模型有很好的泛化能力，应用范围非常广。

技术领域

本发明实施例涉及数据挖掘技术领域，尤其涉及一种低质言论识别方法、装置、设备及计算机可读存储介质。

背景技术

随着各类信息流的用户量日益增多，越来越多的用户在信息流中的新闻下发表评论。然而，随着用户发表的评论越来越多，低质的评论也越来越多，例如无内容、无意义、或含不良内容的评论等等。在信息流新闻中，好的评论能够提高其他用户的阅读体验，而低质的评论对其他用户会产生不适的阅读体验，并且部分低质的评论违反道德、违法、涉政。如果这些低质评论被越来越多的用户看见甚至被点赞、被回复，那信息流新闻的评论区的质量和氛围将越来越差。

为了肃清信息流新闻的评论区环境，目前基于人工词典和规则通过词典匹配和人工审核的方法识别低质评论。但是基于人工词典和规则的识别方法不具有泛化能力，人工词典和规则对低质评论数据的覆盖率非常低，对于词典和规则以外的评论数据则无法识别是否为低质评论，导致对低质评论的识别准确率低。

发明内容

本发明实施例提供一种低质言论识别方法、装置、设备及计算机可读存储介质，用以解决现有的基于人工词典和规则的识别方法不具有泛化能力，人工词典和规则对低质评论数据的覆盖率非常低，对于词典和规则以外的评论数据则无法识别是否为低质评论，导致对低质评论的识别准确率低的问题。

本发明实施例的一个方面是提供一种低质言论识别方法，包括：

通过语言模型计算言论数据的困惑度值；

根据所述言论数据的困惑度值，确定所述言论数据是否为无意义类型；

如果所述言论数据不属于无意义类型，将所述言论数据输入多个对应不同低质类型的识别模型，识别出所述言论数据是否为所述识别模型对应低质类型的低质言论，其中每个所述识别模型是通过对应低质类型的训练集训练得到的。

本发明实施例的另一个方面是提供一种低质言论识别装置，包括：

语言模型模块，用于通过语言模型计算言论数据的困惑度值；

所述语言模型模块还用于根据所述言论数据的困惑度值，确定所述言论数据是否为无意义类型；

识别模型模块，用于如果所述言论数据不属于无意义类型，将所述言论数据输入多个对应不同低质类型的识别模型，识别出所述言论数据是否为所述识别模型对应低质类型的低质言论，其中每个所述识别模型是通过对应低质类型的训练集训练得到的。

本发明实施例的另一个方面是提供一种低质言论识别设备，包括：

存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，

所述处理器运行所述计算机程序时实现上述所述的方法。

本发明实施例的另一个方面是提供一种计算机可读存储介质，存储有计算机程序，

所述计算机程序被处理器执行时实现上述所述的方法。