[发明专利]一种流式数据处理方法与系统在审
| 申请号： | 202010599344.4 | 申请日： | 2020-06-28 |
| 公开（公告）号： | CN111797063A | 公开（公告）日： | 2020-10-20 |
| 发明（设计）人： | 刘洋洋;麻宇航;李兴国;苗功勋 | 申请（专利权）人： | 中孚信息股份有限公司;中孚安全技术有限公司;北京中孚泰和科技发展股份有限公司;南京中孚信息技术有限公司 |
| 主分类号： | G06F16/172 | 分类号： | G06F16/172;G06F16/11;G06F16/16 |
| 代理公司： | 北京久维律师事务所 11582 | 代理人： | 邢江峰 |
| 地址： | 250101 山东省济南市高新区*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 数据处理 方法 系统 | ||
1.一种流式数据处理方法，其特征在于，所述方法包括以下操作：
读取所需处理的数据，并将读取的数据保存在存储组件中；
解析读取的数据文件内容，将需要分析的内容提取到内存中形成数据记录；
对数据记录进行分析处理，将数据记录内容匹配预先设置的关键字，如果命中则标记数据记录；
对于命中的数据记录，如果需要提取更加详细的内容时，按需读取存储组件中的内容，并加载到内存中的数据记录。
2.根据权利要求1所述的一种流式数据处理方法，其特征在于，所述所需处理的数据为批量数据记录或大规模非结构化文档，为Office文件、PDF文件、视频文件以及音频文件的任意一种。
3.根据权利要求1所述的一种流式数据处理方法，其特征在于，所述数据记录为包括原始文件存储路径、文件格式以及文件大小的元数据。
4.一种流式数据处理系统，其特征在于，所述系统包括：
数据读取模块，用于读取所需处理的数据，并将读取的数据保存在存储组件中；
数据解析模块，用于解析读取的数据文件内容，将需要分析的内容提取到内存中形成数据记录；
分析模块，用于对数据记录进行分析处理，将数据记录内容匹配预先设置的关键字，如果命中则标记数据记录；
数据再提取模块，用于对于命中的数据记录，如果需要提取更加详细的内容时，按需读取存储组件中的内容，并加载到内存中的数据记录。
5.根据权利要求4所述的一种流式数据处理系统，其特征在于，所述所需处理的数据为批量数据记录或大规模非结构化文档，为Office文件、PDF文件、视频文件以及音频文件的任意一种。
6.根据权利要求4所述的一种流式数据处理系统，其特征在于，所述数据记录为包括原始文件存储路径、文件格式以及文件大小的元数据。
7.一种流式数据处理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现根据权利要求1-3任意一项所述的流式数据处理方法。
8.一种可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现根据权利要求1-3任意一项所述的流式数据处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中孚信息股份有限公司;中孚安全技术有限公司;北京中孚泰和科技发展股份有限公司;南京中孚信息技术有限公司，未经中孚信息股份有限公司;中孚安全技术有限公司;北京中孚泰和科技发展股份有限公司;南京中孚信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202010599344.4/1.html，转载请声明来源钻瓜专利网。
