[发明专利]一种基于模糊逻辑的高效提取文本信息的方法

说明书

随着信息技术的高速发展，人类已经进入了大数据时代。这些数据不仅仅只是可进行数学运算的整形和浮点型数据，还包含着大量无法进行数学运算的非结构化文本数据。充分挖掘这些文本数据对于各行各业都有着重大意义。随着人工智能技术的火热，自然语言处理领域也借助深度学习取得的巨大的突破。但是，使用深度学习进行文本分析的成本过高，不适用于中小型的文本分析项目。使用深度学习技术进行文本挖掘要想取得好的效果投如大量人力对数据进行人工标注。为了提高训练速度，还必须购买昂贵的加速设备，例如谷歌的tpu。本发明采用一中基于模糊逻辑的文本分析方法，能够以更轻量且更低成本的方式实现对非结构化文本数据中的关键信息的提取。

背景技术

随着信息技术的高速发展，人类已经进入了大数据时代。这些数据不仅仅只是可进行数学运算的整形和浮点型数据，还包含着大量无法进行数学运算的非结构化文本数据。充分挖掘这些文本数据对于各行各业都有着重大意义。随着人工智能技术的火热，自然语言处理领域也借助深度学习取得的巨大的突破。但是，使用深度学习进行文本分析的成本过高，不适用于中小型的文本分析项目。使用深度学习技术进行文本挖掘要想取得好的效果投如大量人力对数据进行人工标注。为了提高训练速度，还必须购买昂贵的加速设备，例如谷歌的tpu。本发明采用一中基于模糊逻辑的文本分析方法，能够以更轻量且更低成本的方式实现对非结构化文本数据中的关键信息的提取。

发明内容

本发明结以一种独特且十分高效的方式来提取非结构化事故事件文本数据中的关键信息。首先由行业专家以人工标注的方式得到多个专业术语类目词典-例如在“消防器材”类目下的专业术语有灭火器，消火栓，消防枪等等。接下来将所有类目下的术语合并为一个总词典以供分词工具加载。

传统的基于模糊逻辑的文本匹配方法需要将分词后的文本逐一与词典中的术语进行匹配，在实际工程应用中待预测数据与专业词典的规模往往十分庞大，这会消耗大量的时间。本发明团队在大量的实际工程项目中发现，某一领域或某一类别的专业术语往往具有相同的“结尾词”，列如“石油专用设备”类目下的水井钻机，取样钻机，地锚钻机都以“机”结尾。为此我们又建立了一个“结尾词-术语”字典，只需提取分词后的待预测文本的结尾词然后与字典中以该字符结尾的术语进行模糊匹配即可，节省了大量时间。

初次之外，本发明还针对不同长度的分词结果设置了不同的模糊匹配阈值，这些阈值是经过反复实验得到的近似最优值。

附图说明

图1是本发明的工作流程图。

图2是本发明的程序运行图。

具体实施方式

A.构建分类目专业词典：由行业专家按照业务需求对构建专业词典。

B.构建“结尾字-术语”词典：提取专业字典中所有术语的最后一个字并进行去重操作获得结尾字列表。以结尾字列表中的每一个结尾字作为关键字，以所有以此关键字结尾的术语作为值，构建“结尾字-术语”字典。

C.预设模糊匹配算法各个长度匹配阈值：模糊匹配算法为给出两个句子并返回这两个句子的相似度分数，为了获得最优的效果，就需要人工的为不同长度的每个待预测语句预设一个阈值。本发明中预设的阈值为经过大量实验获得，具有近似最优性。

D.分词工具加载全量专业词典：使用分词工具加载各个类目的专业词典用于后续分词操作。

E.对待预测数据进行分词：使用加载了全量专业词典的分词工具对输入文本进行分词并提取分词后的结尾词。

F.查找“结尾字-术语”词典：将结尾字输入“结尾字-术语”词典就能够得到以该字结尾的所有术语，将分词后的结果与返回的专业术语一一进行模糊匹配，返回得分最高且超过预设阈值的组合。