[发明专利]一种基于transformer和CRF的中文地址分词方法

权利要求书

1.一种基于transformer和CRF的中文地址分词方法，其特征在于，包括以下步骤：

步骤1、对初始地址文本进行分词标注，得到带标注的地址文本，并对地址文本进行字符统计得到字符集，根据字符集将地址文本转化成序列化地址向量；

步骤2、将步骤1得到的字符集中的字符随机初始化为特征信息向量，根据特征信息向量将序列化地址向量转换为特征信息矩阵；

步骤3、根据序列化地址向量中的元素位置计算得到位置信息向量，根据位置信息向量将序列化地址向量转换为位置信息矩阵；

步骤4、将步骤2得到的特征信息矩阵和步骤3得到的位置信息矩阵相加，得到文本信息矩阵；

步骤5、将步骤4得到的文本信息矩阵输入到transformer神经网络中，得到地址文本的语义特征信息矩阵；

步骤6、将步骤5得到的语义特征信息矩阵作为输入，利用条件随机场CRF对语义特征信息进行标注，得到中文地址分词标注序列。

2.根据权利要求1所述的一种基于transformer和CRF的中文地址分词方法，其特征在于，所述步骤1包括：

(1)对初始地址文本进行人工分词；

(2)采用BMES法对分词后的地址文本进行标注，即词的第一个字符标记为B，词中间的字符标记为M，词尾的字符标记为E，如果词是一个单独字符则标记为S；

(3)对初始地址文本进行字符统计得到字符集，并将初始地址文本中的字符转换为其在字符集中的id，得到序列化地址向量；

(4)令l为地址文本限制长度，对长度小于l的序列化地址向量进行补0，对长度大于l的序列化地址向量进行截断，得到长度均为l的序列化地址向量。

3.根据权利要求1所述的一种基于transformer和CRF的中文地址分词方法，其特征在于，所述步骤2包括：

(1)将步骤1中得到的字符集中的每个字符随机初始化为特征信息向量，得到字符矩阵其中n是字符集中字符个数，d_model是每个字符的特征信息向量的维度，E中第i行代表第i个字符的特征信息向量；

(2)根据序列化地址向量中的字符id将字符转化为相应的特征信息向量，得到特征信息矩阵

4.根据权利要求1所述的一种基于transformer和CRF的中文地址分词方法，其特征在于，所述步骤3包括：

(1)计算序列化地址向量中每个位置pos的位置信息向量PE(pos)，计算公式如下：

其中PE(pos，k)为PE(pos)第k个元素的值，k＝0，1，...，d_model-1；

(2)将序列化地址向量中的字符转化为相应的位置信息向量，得到位置信息矩阵