[发明专利]一种基于倒排索引与Seq2Seq模型的法律法规推荐方法及系统

权利要求书

1.一种基于倒排索引与Seq2Seq模型的法律法规推荐方法，其特征在于，包括：

S1：构建相关法律法规及案例文档的全文倒排索引；

S2：构建Seq2Seq神经网络模型，并对Seq2Seq神经网络模型进行训练，其中，Seq2Seq神经网络模型包括编码器和解码器，编码器用于根据检索词或违规行为经分词后的序列得到网络节点的状态，解码器用于根据编码器的输出生成检索词或违规行为名称对应的关键词序列，检索词或违规行为名称对应的关键词序列为针对法律法规及案例文档全文生成的倒排索引词典中的词序列；

S3：利用训练好的Seq2Seq神经网络模型进行法律法规推荐。

2.如权利要求1所述的法律法规推荐方法，其特征在于，步骤S1包括：

S1.1：基于Python读取法律法规及案例文档全文，以法条或案例为基本单位对其中的文字信息，利用正则表达式进行中文分词操作；

S1.2：对中文分词操作产生的词条结果进行归一化，形成词项词典；

S1.3：根据词项词典对所有文档按照其中出现的词项建立倒排索引。

3.如权利要求1所述的法律法规推荐方法，其特征在于，S2包括：

S2.1：构建中文常用词汇的one-hot编码；

S2.2：构建基于词汇的one-hot编码的编码器，其中，编码器的输入是检索词或违规行为经分词后的序列，

S_i＝(x_i1，x_i2，...，x_iM)^T，i∈1，2，3...N

其中，S_i表示第i条记录的数据，x_ij表示其中的第j个词，M是S_i的长度，N为数据条数；

编码器的输出c_i：

c_i＝h_iM，i∈1，2，3...N

为序列全部输入后网络节点h_iM的状态，其中：

h_i1＝x_i1

h_i，(k+1)＝h_ik|x_i，(k+1)

h_ik为第i条记录的第k个神经元的隐藏状态，即每个神经元的状态等于其前一个神经元的隐藏状态与当前输入按位做逻辑或运算的结果；

S2.3：构建基于词汇的one-hot编码的解码器，其中，解码器的输入为编码器的输出c_i，输出为检索词或违规行为名称对应的关键词序列，即针对法律法规及案例文档全文生成的倒排索引词典中的词序列，计算公式如下：

h′_t＝σ(Uc+Wh′_t-1+Vy′_t-1-θ)

y′_t＝σ(Vh′_t+c)

其中，h′_t为神经元的第t个隐藏状态，h′_t-1为神经元的第t-1个隐藏状态，y′_t-1为神经元的第t-1个输出，y′_t为神经元的第t个输出，σ为激活函数sigmoid函数，c为编码器的输出；U，W，V均为神经网络中隐藏层到输出层的权重向量，θ为每个神经元的阈值向量，U，W，V与θ均为待定参数，其结果通过对模型训练后得出；

S2.4：采用教师强化训练方式，将一定比例的上一个神经元的输出y′替换为正确的值作为输入的方式对模型进行训练，具体包括：运用经典BP算法更新RNN网络中的参数，即隐藏层到输出层的权重值与输出层神经元的阈值，

其中，BP算法得出更新规则如下：

输出层更新规则：

其中，为中间变量，作用是把形如对应等号后边的式子记作g，没有实际含义，η是学习率，η∈(0，1)，控制算法的每一轮迭代中的更新步长，U_ij表示隐藏层第i个神经元与输出层第j个神经元之间关于变量U的权重，V_ij表示隐藏层第i个神经元与输出层第j个神经元之间关于变量V的权重，W_ij表示隐藏层第i个神经元与输出层第j个神经元之间关于变量W的权重，θ_j表示输出层第j个神经元的阈值，所有被Δ修饰的变量如ΔV均表示对该变量的修改值，被^修饰的变量与均表示神经网络给出的对该变量的预测值，其中可由与计算得到，E_t为y′_t的均方误差，E′_t为h′_t的均方误差，角标i和j表示某一维的分量，为的第j个分量，表示的第j个分量，β_j表示y′_t＝σ(Vh′_t+c)中σ函数的输入，β′_j表示h′_t＝σ(Uc+Wh′_t-1+Vy′_t-1-θ)中σ函数的输入，为的第j个分量，h′_ti表示h′_t的第i个分量，h′_(t-1)i表示h′_(t-1)的第i个分量。