[发明专利]文本检测方法、相似度计算方法、模型训练方法及装置

说明书

本说明书实施例提供一种文本检测方法、相似度计算方法、模型训练方法、装置及设备。获取第二文本以及待检测的第一文本，生成所述第一文本以及所述第二文本中各词语的向量集合，所述向量集合包括所述词语的词向量以及n‑元笔画向量，将所述第一文本中各词语、所述第二文本中各词语以及所述向量集合输入到预先训练的文本相似度计算模型，以计算所述第一文本和第二文本的相似度，基于所述相似度以及所述第二文本的类别确定所述第一文本是否为目标类别的文本。基于文本各词语的n元笔画向量计算文本相似度，可以从更粒度地提取词语之间的关联，也解决了预测中出现新词语的问题，可以有效检测测出目标类别的文本。

技术领域

本说明书涉及计算机技术领域，尤其涉及一种文本检测方法、相似度计算方法、模型训练方法、装置及设备。

背景技术

在某些情况下，需要检测出满足一定条件的目标类别的文本。通常，在检测一个文本是否为目标类别的文本时，可以将该文本与一个目标类别的文本进行比对，如果两者相似度较高，即可判定该文本属于目标类别，因此准确地计算文本的相似度显得非常关键。举个例子，有些不法分子会采取非法手段对一些保险服务进行骗保，比如，不法分子通过建立QQ群进行团伙骗保作案，针对这种骗保方式，仅通过常规的地理位置、账号注册设备等信息分析，已经不能很好的抓取团伙成员。经过对骗保理赔文本的仔细研究，发现在同一个作案团伙中，骗保团伙成员填写的保险理赔文本在语义上非常相似，因此可以通过文本语义分析的手段，挖掘潜在的骗保团队成员。为了更有效和更准确的识别出目标类别的文本，有必要对文本相似度的计算方法和文本的检测方法加以改进。

发明内容

基于此，本说明书提供了一种文本检测方法、相似度计算方法、模型训练方法、装置及设备。

根据本说明书实施例的第一方面，提供一种目标文本的检测方法，所述方法包括：

获取第二文本以及待检测的第一文本；

生成所述第一文本以及所述第二文本中各词语的向量集合，所述向量集合包括所述词语的词向量以及n-元笔画向量；

将所述第一文本中各词语、所述第二文本中各词语以及所述向量集合输入到预先训练的文本相似度计算模型，以计算所述第一文本和第二文本的相似度；

基于所述相似度以及所述第二文本的类别确定所述第一文本是否为目标类别的文本。

根据本说明书实施例的第二方面，提供一种文本相似度计算模型的训练方法，所述方法包括：

获取第一训练文本、第二训练文本以及所述第一训练文本与所述第二训练文本的相似度；

生成所述第一训练文本和所述第二训练文本中各词语的向量集合，所述向量集合包括所述词语的词向量以及n-元笔画向量；

根据所述第一训练文本中的各词语、所述第二训练文本中的各词语、所述向量集合以及所述相似度训练得到所述文本相似度计算模型。

根据本说明书实施例的第三方面，提供一种确定文本相似度的方法，所述方法包括：

获取至少两个文本；

生成所述至少两个文本中各词语的向量集合，所述向量集合包括所述词语的词向量以及n-元笔画向量；

将所述至少两个文本以及所述向量集合输入到预先训练的文本相似度计算模型，计算所述文本中两两文本之间的相似度。

根据本说明书实施例的第四方面，提供一种目标文本的检测装置，所述装置包括：

获取模块，用于获取第二文本以及待检测的第一文本；

向量生成模块，用于生成所述第一文本以及所述第二文本中各词语的向量集合，所述向量集合包括所述词语的词向量以及n-元笔画向量；