[发明专利]一种面向涉税法律文本的命名实体识别依赖增强方法

权利要求书

1.一种面向涉税法律文本的命名实体识别依赖增强方法，其特征在于，包括：

首先，执行跨度枚举生成与实体检测，将税务命名实体识别视为跨度分类任务，通过滑动窗口在输入文本上采样，枚举产生大量跨度，并通过特征拼接方法生成每个跨度的深度表示；其次，进行高重叠跨度对比关系挖掘，引入一个对比学习损失，从高度重叠的跨度中挖掘对比关系，增强模型对高度重叠的不同类型实体的区分度；再次，进行跨度间交互依赖关系挖掘，采用了一种尺度变换机制实现跨度交互，从候选跨度的几何信息挖掘交互依赖特征并嵌入原生跨度表示中，增强原生的跨度表示；最后，基于实体检测损失、实体分类损失和对比学习损失，构造一个联合损失函数，对模型进行端到端联合训练。

2.根据权利要求1所述的一种面向涉税法律文本的命名实体识别依赖增强方法，其特征在于，该方法具体包括以下实现步骤：

1)跨度枚举生成与实体检测

该方法面对的是涉税法律文本，首先需要进行文本表示，将自然语言描述的涉税法律文本转换为低维稠密实值向量；然后在文本上执行滑动窗口枚举，获取每一个跨度，作为实体候选，并将每一个实体候选转化为向量表示；获取实体候选之后，进行实体检测，判断一个候选跨度是否作为一个实体提及，实体提及即可作为实体的文本片段，但尚不知道其类型，实体类型的识别在后续步骤中进行；

2)高重叠跨度对比关系挖掘

对于高度重叠的跨度，引入跨度级监督对比学习目标；在实体检测标签的指导下，利用对比学习损失寻找同类样本之间的共性，拉进这些同类样本的语义距离，并使得这些样本与不同类的样本之间的语义距离越来越远，从而提高对高度重叠但不同类实体的识别能力；

3)跨度间交互依赖关系挖掘

挖掘跨度间交互依赖关系，并用这种交互依赖关系增强原生跨度表示；具体来说，将跨度的离散几何特征进行缩放变换，将其转换为相对位移和宽度比，利用尺度变换机制将这种变换嵌入到高维空间，通过自注意力机制与原生跨度表示融合，达到增强原生跨度表示的目的；

4)端到端联合训练

基于前述步骤获取的前向传播结果，通过联合损失，训练税务命名实体识别多分类器，实现税务命名实体的识别。

3.根据权利要求2所述的一种面向涉税法律文本的命名实体识别依赖增强方法，其特征在于，步骤1)中，跨度枚举生成与实体检测具体包括以下步骤：

Step1.联合嵌入文本表示

文本表示是指对涉税法律文本进行向量化的操作，将自然语言形态的文本转化为低维稠密实值向量，才能输入模型中执行运算；

Step2.候选跨度生成

首先，根据预定义的长度L，枚举文本中长度小于或等于L的所有跨度；所有候选跨度形成一个集合：s_set＝{s₁，s₂，...，s_m}，其中s_i＝(start，end)表示第i个候选跨度；其次，通过计算候选跨度和真实实体之间的交并比I_oU，交并比满足预定义阈值的跨度被视为训练样本；IoU用于衡量跨度之间的重叠程度，定义为其中A和B是两个跨度；如果真实实体和多个跨度之间的IoU都满足预定义的阈值，则选择这些跨度中IoU最大的跨度作为训练样本；对于这样的训练样本，为它分配和相关联的真实实体相同的标签并计算它们之间的边界偏移量其他跨度被丢弃，不参与训练；

Step3.实体检测

首先是对跨度进行表示，将跨度转换为分布式表示，对于跨度样本s_i＝(start,end)，其中start和end指的是跨度起止字符的索引，拼接边界字符表示与跨度内部字符的最大池化表征，以获得跨度表示[S₁，S₂，...，S_m]；然后，基于一个多层感知机MLP进行跨度检测：

Inner_pool＝MaxPooling(h_start,…，h_end)

其中表示拼接操作，MLP_det表示执行跨度检测的MLP分类器。