[发明专利]一种识别语料语言的方法和装置

权利要求书

1.一种识别语料语言的方法，其特征在于，该方法包括：

建立第一候选语言词表和第二候选语言词表，并将第一候选语言词表和第二候选语言词表组合为整体词表；

基于该整体词表对输入语料进行分词，以确定出输入语料中的第一候选语言专用词；

判断第一候选语言专用词在该输入语料中的出现率是否满足预先设定的门限值，如果是，则判定该输入语料的语言为第一候选语言。

2.根据权利要求1所述的识别语料语言的方法，其特征在于，所述建立第一候选语言词表包括：

建立第一候选语言初始词表；

加载第一候选语言训练语料，并基于该第一候选语言初始词表对第一候选语言训练语料进行分词；

根据分词结果计算相邻词对的构词概率，并当相邻词对的构词概率超过预先设定的概率门限值时，将该相邻词对加入到所述第一候选语言初始词表中，以建立第一候选语言词表。

3.根据权利要求2所述的识别语料语言的方法，其特征在于，所述计算相邻词对的构词概率包括：

确定相邻词对之间的互信息、该相邻词对在第一候选语言训练语料中所有左边词的信息熵以及相邻词对在第一候选语言训练语料中所有右边词的信息熵；

对互信息、该相邻词对在第一候选语言训练语料中所有左边词的信息熵以及相邻词对在第一候选语言训练语料中所有右边词的信息熵进行加权计算，以得到该相邻词对的构词概率。

4.根据权利要求1所述的识别语料语言的方法，其特征在于，所述建立第二候选语言词表包括：

建立第二候选语言初始词表；

加载第二候选语言训练语料，并基于该第二候选语言初始词表对第二候选语言训练语料进行分词；

根据分词结果计算相邻词对的构词概率，并当相邻词对的构词概率超过预先设定的概率门限值时，将该相邻词对加入到所述第二候选语言初始词表，以建立第二候选语言词表。

5.根据权利要求4所述的识别语料语言的方法，其特征在于，所述计算相邻词对的构词概率包括：

确定相邻词对之间的互信息、该相邻词对在第二候选语言训练语料中所有左边词的信息熵以及相邻词对在第二候选语言训练语料中所有右边词的信息熵；

对互信息、该相邻词对在第二候选语言训练语料中所有左边词的信息熵以及相邻词对在第二候选语言训练语料中所有右边词的信息熵进行加权计算，以得到该相邻词对的构词概率。

6.根据权利要求1所述的识别语料语言的方法，其特征在于，所述基于该整体词表对输入语料进行分词，以确定出输入语料中的第一候选语言专用词包括：

基于该整体词表对输入语料进行分词；

判断分词是否属于第一候选语言词表且不属于第二候选语言词表，如果是，则确定该分词为第一候选语言专用词。

7.根据权利要求1所述的识别语料语言的方法，其特征在于，所述判断第一候选语言专用词在该输入语料中的出现率是否满足预先设定的门限值，如果是，则判定该输入语料的语言为第一候选语言包括：

判断该第一候选语言专用词的数目是否超过预先设置的门限值，如果是，则判定该输入语料的语言为第一候选语言。

8.根据权利要求1所述的识别语料语言的方法，其特征在于，所述判断第一候选语言专用词在该输入语料中的出现率是否满足预先设定的门限值，如果是，则判定该输入语料的语言为第一候选语言包括：

判断该第一候选语言专用词与输入语料所有词之间的比率是否超过预先设置的门限值，如果是，则判定该输入语料的语言为第一候选语言。

9.根据权利要求1所述的识别语料语言的方法，其特征在于，所述判断第一候选语言专用词在该输入语料中的出现率是否满足预先设定的门限值，如果是，则判定该输入语料的语言为第一候选语言包括：

判断该第一候选语言专用词与输入语料有效词之间的比率是否超过预先设置的门限值，如果是，则判定该输入语料的语言为第一候选语言。