[发明专利]语料库构建方法、装置、电子设备及介质

权利要求书

1.一种语料库构建方法，其特征在于，包括：

接收到目标语料后，对所述目标语料进行分词处理，得到多个词单元；

按照预先建立的同义词典，获取每个词单元对应的同义词单元组，所述同义词单元组包括与该词单元对应的至少一个同义词单元；

基于所述词单元对应的同义词单元对至少一个词单元进行替换，得到所述目标语料的同义语料；

将所述同义语料与所述目标语料关联后，构建语料库。

2.根据权利要求1所述的方法，其特征在于，所述接收到目标语料后，对所述目标语料进行分词处理，得到多个词单元，包括：

接收到所述目标语料后，确定所述目标语料对应的行业类型；

结合所述行业类型对应的分词词典对所述目标语料进行分词处理，得到多个词单元。

3.根据权利要求1所述的方法，其特征在于，按照以下方式构建所述同义词典：

构建样本语料库，所述样本语料库包括多个不同行业类型的样本语料；

按照与所述样本语料的行业类型对应的分词词典，对该种行业类型的样本语料进行分词处理，得到该种行业类型的多个词单元；

将每种行业类型的词单元分别输入预先建立的词向量模型，得到该种行业类型的每个词单元对应的词向量；

基于所述词向量计算每两个词单元之间的相似度，选择该种行业类型中相似度大于设定值的同义词单组，构成该行业类型对应的同义词典。

4.根据权利要求1所述的方法，其特征在于，所述基于所述词单元对应的同义词单元对至少一个词单元进行替换，得到所述目标语料的同义语料，包括：

在每个词单元对应的同义词单元中选择词频最高的同义词单元；

针对每个词单元，通过该词单元对应的词频最高的同义词单元替换该词单元，得到所述目标语料的同义语料。

5.一种语料库构建装置，其特征在于，包括：

分词模块，用于接收到目标语料后，对所述目标语料进行分词处理，得到多个词单元；

同义词获取模块，用于按照预先建立的同义词典，获取每个词单元对应的同义词单元组，所述同义词单元组包括与该词单元对应的至少一个同义词单元；

替换模块，用于基于所述词单元对应的同义词单元对至少一个词单元进行替换，得到所述目标语料的同义语料；

构建模块，用于将所述同义语料与所述目标语料关联后，构建语料库。

6.根据权利要求5所述的装置，其特征在于，所述分词模块，具体用于：

接收到所述目标语料后，确定所述目标语料对应的行业类型；

结合所述行业类型对应的分词词典对所述目标语料进行分词处理，得到多个词单元。

7.根据权利要求5所述的装置，其特征在于，按照以下方式构建所述同义词典：

构建样本语料库，所述样本语料库包括多个不同行业类型的样本语料；

按照与所述样本语料的行业类型对应的分词词典，对该种行业类型的样本语料进行分词处理，得到该种行业类型的多个词单元；

将每种行业类型的词单元分别输入预先建立的词向量模型，得到该种行业类型的每个词单元对应的词向量；

基于所述词向量计算每两个词单元之间的相似度，选择该种行业类型中相似度大于设定值的同义词单组，构成该行业类型对应的同义词典。

8.根据权利要求5所述的装置，其特征在于，所述替换模块，具体用于：

在每个词单元对应的同义词单元中选择词频最高的同义词单元；

针对每个词单元，通过该词单元对应的词频最高的同义词单元替换该词单元，得到所述目标语料的同义语料。

9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如权利要求1至4任一项所述的方法。

10.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至4任一项所述的方法。