[发明专利]数据存储方法、装置、计算机设备及存储介质在审
| 申请号: | 201910370895.0 | 申请日: | 2019-05-06 |
| 公开(公告)号: | CN110222249A | 公开(公告)日: | 2019-09-10 |
| 发明(设计)人: | 吴壮伟 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
| 主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/9538;G06F16/338 |
| 代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 林燕云 |
| 地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 轨迹数据 去重 计算机设备 存储介质 关键信息 企业历史 数据存储 相关信息 源数据集 时间轴 日历 预处理 企业事件 企业信息 时间节点 数据集中 文本数据 数据集 排序 抽取 文本 网络 | ||
本发明公开了数据存储方法、装置、计算机设备及存储介质。该方法包括:根据所接收的企业名称爬取对应的源数据集,将源数据集进行预处理,得到与多篇文本数据一一对应的处理后数据;将对应的处理后数据进行去重,得到对应的去重后数据集;以及获取去重后数据集中所包括的企业历史信息列表,将各企业信息列表根据所包括的文本中企业事件发生时间及对应的企业历史信息列表对应添加至时间轴或日历对应的时间节点,得到与企业名称对应的发展轨迹数据;将发展轨迹数据通过时间轴或日历进行显示。该方法采用数据爬取技术,实现了自动从网络爬取企业相关信息,在抽取企业相关信息的关键信息后,对所有关键信息根据时间进行排序,得到企业的发展轨迹数据。
技术领域
本发明涉及数据采集技术领域,尤其涉及一种数据存储方法、装置、计算机设备及存储介质。
背景技术
目前,企业的大事件信息,在时间维度上具有分散性,比较难以搜集并集中整理。而且一般每一企业在对自身企业发展的数据整理,是属于偏人工文本操作的,缺少自动化获取的工具。而且,一般每一企业是各自整理自身的企业历史数据,并未形成一个可以集中查看所有企业的历史事件的企业历史数据查询平台。
发明内容
本发明实施例提供了一种数据存储方法、装置、计算机设备及存储介质,旨在解决现有技术中企业在对自身企业发展的数据整理,是属于偏人工文本操作的,缺少自动化获取并整理数据,导致效率低下的问题。
第一方面,本发明实施例提供了一种数据存储方法,其包括:
根据所接收的企业名称爬取对应的源数据集,将所述源数据集进行预处理,得到与所述源数据集所包括多篇文本数据一一对应的处理后数据;其中,每一处理后数据对应一个企业历史信息列表;
将所述源数据中所包括多篇文本数据一一对应的处理后数据进行去重,得到与源数据对应的去重后数据集;以及
获取所述去重后数据集中所包括的企业历史信息列表,将各企业信息列表根据所包括的文本中企业事件发生时间及对应的企业历史信息列表对应添加至时间轴或日历对应的时间节点,得到与企业名称对应的发展轨迹数据;其中,时间轴或日历的名称由与各企业信息列表对应的企业名称所生成,所述发展轨迹数据为添加了企业历史信息列表的时间轴形式或日历形式的数据;
将所述发展轨迹数据通过时间轴或日历进行显示。
第二方面,本发明实施例提供了一种数据存储装置,其包括:
源数据爬取单元,用于根据所接收的企业名称爬取对应的源数据集,将所述源数据集进行预处理,得到与所述源数据集所包括多篇文本数据一一对应的处理后数据;其中,每一处理后数据对应一个企业历史信息列表;
去重单元,用于将所述源数据中所包括多篇文本数据一一对应的处理后数据进行去重,得到与源数据对应的去重后数据集;以及
轨迹数据获取单元,用于获取所述去重后数据集中所包括的企业历史信息列表,将各企业信息列表根据所包括的文本中企业事件发生时间及对应的企业历史信息列表对应添加至时间轴或日历对应的时间节点,得到与企业名称对应的发展轨迹数据;其中,时间轴或日历的名称由与各企业信息列表对应的企业名称所生成,所述发展轨迹数据为添加了企业历史信息列表的时间轴形式或日历形式的数据;
数据显示单元,用于将所述发展轨迹数据通过时间轴或日历进行显示。
第三方面,本发明实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的数据存储方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的数据存储方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910370895.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种大数据聚类方法及装置
- 下一篇:一种面向微博的突发事件触发词识别方法





