[发明专利]端到端的汉语韵律层级结构预测模型的构建方法及系统

权利要求书

1.一种端到端的汉语韵律层级结构预测模型的构建方法，其特征在于，所述构建方法包括：

根据多个裸文本得到字嵌入embedding层的字向量序列；

基于长短时间记忆BLSTM神经网络和条件随机场CRF分类器，根据所述字向量序列，构建汉语韵律层级结构的预测模型，用于预测待处理文本的汉语韵律层级结构；

其中，所述汉语韵律层级结构分为三个层级，自底向上分别为韵律词、韵律短语和语调短语，并且所述汉语韵律层级结构的前一层级的预测标签信息为当前层级的标签信息；

其中，所述构建汉语韵律层级结构的预测模型，具体包括：

基于BLSTM神经网络，分别从正向和反向读取字向量序列，获得隐状态表示序列；

根据CRF分类器对所述隐状态表示序列及汉语韵律层级结构的当前层级中的标签信息进行打分，确定对应所述汉语韵律层级结构的当前层级的隐层状态的分数；

根据维特比算法Viterbi从所述分数中搜索出最优的标签序列作为所述汉语韵律层级结构的当前层级的预测标签信息。

2.根据权利要求1所述的端到端的汉语韵律层级结构预测模型的构建方法，其特征在于，所述根据多个裸文本得到字embedding层的字向量序列，具体包括：

根据各裸文本建立以字为单位的字典；

基于连续词袋模型CBOW，利用文本语料对所述字典进行训练得到字embedding层的字向量序列。

3.根据权利要求2所述的端到端的汉语韵律层级结构预测模型的构建方法，其特征在于，所述根据各裸文本建立以字为单位的字典，具体包括：

统计各裸文本中的各个字出现的频率；

按照字出现的频率从大到小的顺序进行排序，选取前N个字作为字典；其中，不在字典中的字，统一用OOV进行表示。

4.根据权利要求1所述的端到端的汉语韵律层级结构预测模型的构建方法，其特征在于，所述基于BLSTM神经网络，分别从正向和反向读取字向量序列，具体包括：

前向LSTM神经网络按照正向读取字向量序列，根据以下公式，确定第t个字的正向隐状态表示h_t：

其中，LSTM()为LSTM神经网络的读取函数，为第(t-1)个字的正向隐状态表示，字向量序列为x＝(x₁,x₂,...,x_T)，t＝1,2,...,T，x_t为字向量序列中的第t个字；

后向LSTM神经网络按照反向读取字向量序列，根据以下公式，确定第t个字的反向隐状态表示

其中，为第(t+1)个字的反向隐状态表示；

根据所述第t个字的正向隐状态表示和反向隐状态表示确定第t个字的隐状态表示h_t：

根据所述第t个字的隐状态表示h_t确定隐状态表示序列H：

H＝(h₁,h₂,...,h_t)。

5.根据权利要求1所述的端到端的汉语韵律层级结构预测模型的构建方法，其特征在于，所述确定对应所述汉语韵律层级结构的当前层级的隐层状态的分数，具体包括：

根据以下公式，确定所述当前层级的隐层状态的打分函数s(y,H)：

其中，表示第t个字的汉语韵律层级结构的当前层级的标签信息y_t的置信度矩阵，表示从标签信息y_t到y_t+1的转移概率，为权重矩阵，用于将第t个字的隐状态表示h_t转换成置信度矩阵

6.根据权利要求5所述的端到端的汉语韵律层级结构预测模型的构建方法，其特征在于，所述根据维特比算法Viterbi从所述分数中搜索出最优的标签序列作为所述汉语韵律层级结构的当前层级的预测标签信息，具体包括：

根据以下公式确定汉语韵律层级结构的当前层级的预测标签信息y*：

其中，表示所有可能的标签序列，argmax()为取最大值函数。