[发明专利]一种确定相似文本的数据处理系统

权利要求书

1.一种确定相似文本的数据处理系统，其特征在于，所述系统包括：数据库、处理器和存储有计算机程序的存储器，其中，所述数据库中包括预设实体向量集合和初始文本列表，当所述计算机程序被处理器执行时，实现以下步骤：

S100，从初始文本列表中获取目标文本和目标文本对应的关键文本列表A=｛A₁，……，A_j，……，A_n｝，A_j为目标文本对应的第j个关键文本，j=1……n，n为目标文本对应的关键文本数量；

S200，根据预设实体向量集合，获取目标文本对应的第一文本编码向量B和目标文本对应的第一实体编码向量列表C={C₁，……，C_r，……，C_s}，C_r为目标文本对应的第r类实体类型的第一实体编码向量，r=1……s，s为目标文本的实体类型数量,其中，B=（B₁，……，B_x，……，B_p），B_x为目标文本对应的第一文本编码向量中第x位的bit值；x＝1……p，p为第一文本编码向量的维度；

S300，根据预设实体向量集合，获取A_j对应的第二文本编码向量B⁰_j和A_j对应的第二实体编码向量列表C⁰_j={C⁰_j1，……，C⁰_jg，……，C⁰_jz}，C⁰_jg为A_j对应的第g类实体类型的第二实体编码向量，g=1……z，z为A_j的实体类型数量；

S400，当C中不存在C⁰_jg对应的实体类型时，对C进行处理，获取到目标文本对应的第一目标编码向量列表D={B，D₁，……，D_t，……，D_k}，D_t为目标文本对应的第t个初始实体类型的第一目标编码向量，t=1……k，k为目标文本对应的初始实体类型的数量；在S400步骤中还包括如下步骤：

S401，当q≠p时，将C⁰_jg对应的实体类型与U_a0对应的实体类型进行比对；

S403，当C⁰_jg对应的实体类型与U_a0对应的实体类型一致时，将C⁰_jg=U_a0且将C⁰_jg插入至D中；

S405，当C⁰_jg对应的实体类型与U_a0对应的实体类型不一致时，将C⁰_jg=E₀且将C⁰_jg插入至D中，其中，E₀为随机生成的一个q维度的实体向量；

S407，当q＝p时，将C⁰_jg=B且将C⁰_jg插入至D中；

S500，当C⁰_j中不存在C_r对应的实体类型时，对C⁰_j进行处理，获取到A_j对应的第二目标编码向量列表D_j={B⁰_j，D_j1，……，D_jt，……，D_jk}，D_jt为D_t对应的A_j的第二目标编码向量；

S600，根据D和D_j，获取目标文本对应的相似度F_j，其中，F_j符合如下条件：

，其中，D^t_β为D_t对应的向量中第β位bit值，D^jt_β为D_jt对应的向量中第β位bit值，β=1……q，q为第二目标编码向量的向量维度；

S700，当F_j≥F₀时，确定目标文本与A_j为相似文本，其中，F₀为预设的相似度阈值；

S800，当F_j＜F₀时，确定目标文本与A_j不为相似文本。