[发明专利]一种语句检测方法及装置

权利要求书

1.一种语句检测方法，其特征在于，包括：

获取待检测语句；

根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值，所述语料检测模型记录有不同领域自然文本中的分词、各个分词对应的频率以及各个分词在不同语句中的组合概率，具体包括：

将所述待检测语句进行划分，得到所述待检测语句的各个分词；根据所述语料检测模型获取所述待检测语句中各个分词在所述待检测语句中的组合概率；根据所述组合概率对所述待检测语句进行评估，得到所述待检测语句的语句困惑值；

其中，所述根据所述组合概率对所述待检测语句进行评估，得到所述待检测语句的语句困惑值包括：

将所述各个分词在所述待检测语句中的组合概率带入困惑值计算公式，得到所述待检测语句的语句困惑值；

所述困惑值计算公式为：

其中，PP(W)为待检测语句的困惑值，P(w_i|w_i-1)为待检测语句中第i个分词依赖于第i-1个分词的组合概率；

将所述语句困惑值大于或等于预设阈值的语句进行标注，并且输出带有标注的提示信息。

2.根据权利要求1所述的方法，其特征在于，在所述根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值之前，所述方法还包括：

获取不同领域的自然文本作为样本数据；

对所述样本数据中的每条语句进行分词，得到样本分词集合；

采用语料训练模型对所述样本分词集合进行训练，得到语料检测模型。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

将所述语句困惑值小于预设阈值的语句对应的广告进行展示。

4.一种语句检测装置，其特征在于，包括：

第一获取单元，用于获取待检测语句；

检测单元，用于根据语料检测模型对所述待检测语句中每个分词进行通顺度检测，得到语句困惑值，所述语料检测模型记录有不同领域自然文本中的分词、各个分词对应的频率以及各个分词在不同语句中的组合概率；

所述检测单元包括：划分模块，用于将所述待检测语句进行划分，得到所述待检测语句的各个分词；获取模块，用于根据所述语料检测模型获取所述待检测语句中各个分词在所述待检测语句中的组合概率；估计模块，用于根据所述组合概率对所述待检测语句进行评估，得到所述待检测语句的语句困惑值；

估计模块，具体用于将所述各个分词在所述待检测语句中的组合概率带入困惑值计算公式，得到所述待检测语句的语句困惑值；

所述困惑值计算公式为：

其中，PP(W)为待检测语句的困惑值，P(w_i|w_i-1)为待检测语句中第i个分词依赖于第i-1个分词的组合概率；

输出单元，用于将所述语句困惑值大于或等于预设阈值的语句进行标注，并且输出带有标注的提示信息。

5.根据权利要求4所述的装置，其特征在于，所述装置还包括：

第二获取单元，用于获取不同领域的自然文本作为样本数据；

分词单元，用于对所述样本数据中的每条语句进行分词，得到样本分词集合；

训练单元，用于采用语料训练模型对所述样本分词集合进行训练，得到语料检测模型。

6.根据权利要求4或5所述的装置，其特征在于，所述装置还包括：

展示单元，用于将所述语句困惑值小于预设阈值的语句对应的广告进行展示。

7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求3中任意一项所述的语句检测方法。

8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求3中任意一项所述的语句检测方法。