[发明专利]基于非结构化文档的知识提取方法及系统有效
申请号: | 201910455327.0 | 申请日: | 2019-05-29 |
公开(公告)号: | CN110275938B | 公开(公告)日: | 2021-09-17 |
发明(设计)人: | 黄志春;张定国;谢海涛;陈育翔;伍宇文 | 申请(专利权)人: | 广州伟宏智能科技有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/335;G06F40/247 |
代理公司: | 广州蓝晟专利代理事务所(普通合伙) 44452 | 代理人: | 陈梓赫;栾洋洋 |
地址: | 510660 广东省广州市天河区车*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 结构 文档 知识 提取 方法 系统 | ||
1.基于非结构化文档的知识提取方法,其特征在于:包括如下步骤:
S1、建立随机森林模型;
S2、导入非结构化文档;
S3、BERT处理;
S4、样本导入;
S5、展示提取的知识;
S6、对随机森林模型进行补充和修正;
所述步骤S4中,具体包括如下步骤:
(1)、将BERT处理后的M个字词导入到随机森林模型;
(2)、设定数值N,N为样本字词导入个数,且N小于M;
(3)、设定数值Y,Y为样本的决策特征,且Y小于Z;
(4)、设定数值X,X为决策树数量;
(5)、从M个字词中选取N个样本字词;
(6)、N个样本字词分别随机选定Y个筛选特征进行创建决策树;
(7)、决策树数量是否大于X,否则返回(6);
(8)、样本字词在X个决策树的选取情况,输出提取的知识词语;
所述步骤(8)中在X个决策树中,单个样本字词决策后被选取数值记为K,若K处于0-0.4X之间记为被否决字词,若K处于0.4X-0.7X之间记为次展示字词,若K处于0.7X-X之间记为展示字词。
2.根据权利要求1所述的基于非结构化文档的知识提取方法,其特征在于:所述步骤S1中,建立随机森林模型具体为设定特征数值为Z个,导入训练集,通过Z个特征对字词进行决策,创建决策树选取符合特征的字词。
3.根据权利要求1所述的基于非结构化文档的知识提取方法,其特征在于:所述步骤S3中,BERT是基于Transformer 的双向编码器表征,其根基就是Transformer,其中双向的意思表示它在处理一个词的时候,能考虑到该词前面和后面单词的信息,从而获取上下文的语义,将非结构化文档的文字转化为准确且无歧义的词语和字,并将词语或字的总数值记为M。
4.根据权利要求1所述的基于非结构化文档的知识提取方法,其特征在于:所述步骤S5中,将展示字词和次展示字词图标向使用者展示,并将展示字词和次展示字词图标均设置为超链接形式,点击展示字词,将数据库内该展示字词相关知识显示给使用者观看阅读,点击次展示字词图标,切换展示页面,使得次展示字词箱使用者展示,并将次展示字词设置为超链接形式,点击次展示字词,将数据库内该次展示字词相关知识显示给使用者观看阅读。
5.根据权利要求1所述的基于非结构化文档的知识提取方法,其特征在于:所述步骤S6中,将展示字词和次展示字词中出现的决策错误同义词进行修改,并对随机森林模型中的特征进行补充完善。
6.根据权利要求1-5中任一项所述的基于非结构化文档的知识提取系统,其特征在于:所述基于非结构化文档的知识提取系统包括数据模块、采集模块、处理模块和执行模块;所述数据模块包括数据存储、数据修改和数据联网,所述采集模块包括网络文档导入和本地文档导入,所述处理模块包括BERT处理和决策树处理,所述执行模块包括显示屏展示和投影展示;
所述采集模块、处理模块和执行模块三者均与数据模块连接,所述采集模块输出端与处理模块输入端相连接,所述处理模块输出端与执行模块输入端相连接。
7.根据权利要求6所述的基于非结构化文档的知识提取系统,其特征在于:所述采集模块包括网络文档导入和本地文档导入,所述网络文档导入是指将网络云端存储的文档导入至BERT处理区域,所述本地文档导入包括计算机硬盘存储文档和U盘存储文档,并将文档导入至BERT处理区域;
所述处理模块包括BERT处理和决策树处理,所述BERT处理是指将输入的非结构文档译成单独的字词,所述决策树处理是将单独的字词通过随机森林模型进行决策输出。
8.根据权利要求6所述的基于非结构化文档的知识提取系统,其特征在于:所述数据模块包括数据存储、数据修改和数据联网,所述数据存储是对知识词语相关文档、系统运行编程以及计算机运行编程的存储,所述数据修改是随机森林模型的筛选特征进行修改,减少提取时同义词错误,所述数据联网使对数据存储内的数据联网更新,以保证系统正常的运行和准确的知识词语对应文档;
所述执行模块包括显示屏展示和投影展示,所述显示屏展示是通过计算机显示屏向使用者展示提取的知识词语,供少量使用者交流观看,所述投影展示是指通过投影机将显示屏内容投影至幕布,供多位使用者同时观看交流,所述执行模块中展示的知识词语设置为超链接,提取的知识词语与数据存储中存储的知识词语相关文档相链接,点击展示的知识词语,获取相应的知识词语相关文档。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州伟宏智能科技有限公司,未经广州伟宏智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910455327.0/1.html,转载请声明来源钻瓜专利网。