[发明专利]基于深度学习的相似信息合并方法、装置、设备及介质

说明书

本发明涉及人工智能技术，揭露一种相似信息合并方法，包括：对获取到的多个原始图像集进行预处理，得到待合并图像集；利用预设的文本识别模型对所述待合并图像集分别进行文本识别，得到词向量并编码，生成键值和对应的结果值，将所述待合并图像集分别转换为输出文本；利用所述键值计算所述输出文本之间的编辑距离；若所述编辑距离大于预设的阈值时，直接输出所述输出文本；否则，将所述输出文本进行合并处理，得到并输出合并数据集。此外，本发明还涉及区块链技术，所述输出文本可存储于区块链节点中。本发明还提出一种相似信息合并装置、电子设备及存储介质。本发明可以对相似信息进行智能合并，减少人工干预。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于深度学习的相似信息合并方法、装置、电子设备及计算机可读存储介质。

背景技术

随着法律制度的越来越完善，目前法官在办理案件过程中会从不同渠道获取到不同的案件信息，而不同的渠道获取的案件信息格式存在差异，同时获取到案件可能是相似或者重复的。如何让将相似的信息进行合并处理，成为了越来越重要的需求。

目前市场上主流的信息合并方法是人工合并信息。但此种方法过于依赖于人工进行，效率低下，无法达成既高效又个性化的信息合并。

发明内容

本发明提供一种基于深度学习的相似信息合并方法、装置、电子设备及计算机可读存储介质，其主要目的在于对相似信息进行合并，减少人工干预。

为实现上述目的，本发明提供的一种基于深度学习的相似信息合并方法，包括：

获取第一原始图像集和第二原始图像集，对所述第一原始图像集和所述第二原始图像集进行预处理，得到第一待合并图像集和第二待合并图像集；

利用预先训练完成的文本识别模型对所述第一待合并图像集和所述第二待合并图像集进行文本识别，得到第一词向量和第二词向量，并对所述第一词向量和第二词向量编码，生成第一键值、其对应的第一结果值及第二键值、其对应的第二结果值，根据所述第一键值和第一结果值及所述第二键值和第二结果值，将所述第一待合并图像集和所述第二待合并图像集转换为第一输出文本和第二输出文本；

利用所述键值计算所述第一输出文本和所述第二输出文本的编辑距离；

比较所述编辑距离与预设的阈值之间的大小；

若所述编辑距离小于或者等于预设的阈值时，将所述第一输出文本和所述第二输出文本进行合并处理，得到并输出合并数据集；

若所述编辑距离大于预设的阈值时，直接输出所述第一输出文本和所述第二输出文本。

可选地，所述对所述第一词向量和第二词向量编码，包括：

获取词向量的唯一编码函数；

利用编译器将所述词向量的唯一编码函数编译为编码生成语句；

利用所述编码生成语句对所述第一词向量和第二词向量编码。

可选地，所述文本识别模型包括：

词向量层，用于将所述第一待合并图像集包含的文本中的单词和字符转化为第一词向量，将所述第二待合并图像集包含的文本中的单词和字符转化为第二词向量；

Bi-LSTM层，用于将所述第一词向量和所述第二词向量进行分割，对分割后的所述第一词向量和所述第二词向量进行编码，得到所述第一词向量的第一编码表征和所述第二词向量的第二编码表征，利用所述第一编码表征和所述第二编码表征对分割后的所述第一词向量和所述第二词向量进行标注，得到第一键值和对应的第一结果值及第二键值和对应的第二结果值；

CRF层，用于将所述第一键值和对应的第一结果值及第二键值和对应的第二结果值中相同类型的键值和结果值进行拼接，生成输出文本。