[发明专利]一种基于多工具的自然语言处理方法、设备及介质

说明书

本申请公开了一种基于多工具的自然语言处理方法、设备及介质，方法包括：获取多个开源NLP工具；将特定语言划分成与特定语言适配的多个维度；确定预先获取的训练样本，训练样本中，至少部分结构以特定语言的形式体现；针对每个开源NLP工具，使用其对训练样本进行自然语言处理分析，以将训练样本在每个维度下进行分析，得到多个维度分别对应的分析结果；针对每个维度，获取多个开源NLP工具在该维度下的分析结果，以训练得到该维度对应的NLP维度模型；根据多个NLP维度模型，实现对特定语言的自然语言处理。通过多个开源NLP工具进行自然语言处理，得到特定语言在多个维度下的分析结果，解决使用单一基础NLP工具分析准确性较低的问题，提升了可用性。

技术领域

本申请涉及自然语言处理领域，具体涉及一种基于多工具的自然语言处理方法、设备及介质。

背景技术

在现如今的软件开发的领域中，越来越多的会提及到人工智能(ArtificialIntelligence，AI)这个词语，机器学习随即成为了当今社会越来越重要的发展方向。而在众多机器学习方向中，对自然语言的分析也成为了一个世界性的课题。自然语言分析，意为让机器可以对人类的语言进行分析处理。

但在大部分科研成果，在运用到实践中时，往往事与愿违，实际效果与期望值相差甚远。比如，现在对自然语言分析采用的底层框架直接运用到实际生产开发中时，只对部分语言的处理结果较友好，而难以适应其他语言。

发明内容

为了解决上述问题，本申请提出了一种基于多工具的自然语言处理方法，包括：

获取多个开源NLP工具，所述开源NLP工具支持对特定语言进行处理；

根据所述特定语言的属性，将所述特定语言划分成与所述特定语言适配的多个维度；

确定预先获取的训练样本，所述训练样本中，至少部分结构以所述特定语言的形式体现；

针对每个所述开源NLP工具，使用其对所述训练样本进行自然语言处理分析，以将所述训练样本在每个所述维度下进行分析，得到所述多个维度分别对应的分析结果；

针对每个所述维度，获取所述多个开源NLP工具在该维度下的所述分析结果，以训练得到该维度对应的NLP维度模型；

根据多个所述NLP维度模型，实现对所述特定语言的自然语言处理。

在一个示例中，所述特定语言为汉语，所述维度包括语言词性维度；

所述针对每个所述开源NLP工具，使用其对所述训练样本进行自然语言处理分析，以将所述训练样本在每个所述维度下进行分析，得到所述多个维度分别对应的分析结果，具体包括：

针对每个所述开源NLP工具，使用其对所述训练样本进行自然语言处理分析，以将所述训练样本在所述语言词性维度下进行分析，得到所述语言词性维度对应的第一分析结果；

将所述第一分析结果作为影响因子，将所述训练样本在其他维度下进行分析，得到所述其他维度对应的第二分析结果，以便通过所述第一分析结果和所述第二分析结果训练得到不同维度对应的NLP维度模型。

在一个示例中，所述将所述第一分析结果作为影响因子，将所述训练样本在其他维度下进行分析，得到所述其他维度对应的第二分析结果，具体包括：

根据所述第一分析结果，确定所述训练样本中，所述语言词性维度为停用词的指定词语；

将所述指定词语替换为分隔符，以对通过所述分隔符分隔得到的其他词语，在其他维度下进行分析，得到所述其他维度对应的第二分析结果。

在一个示例中，所述通过所述分隔符分隔得到的其他词语，在其他维度下进行分析，得到所述其他维度对应的第二分析结果，具体包括：

确定通过所述分隔符分隔得到的其他词语；