[发明专利]一种基于大数据分析的智能商业服务系统

摘要

本发明实施例提出一种基于大数据分析的智能商业服务系统，涉及大数据处理技术领域。所述系统包括数据采集入库子系统、实时数据流处理子系统、存储子系统、底层支持子系统、加密子系统和业务输出子系统；实现了对互联网富含的商业信息地精准分析，可以方便快捷的为中小型企业提供商业智能服务。

主权项

一种基于大数据分析的智能商业服务系统，其特征在于，所述系统包括：数据采集入库子系统、实时数据流处理子系统、存储子系统、底层支持子系统、加密子系统和业务输出子系统；其中，数据采集入库子系统，包括相互独立的分布式爬虫模块和数据源适配器，分布式爬虫模块和数据源适配器分别连接实时数据流处理子系统，分布式爬虫模块负责数据源头侦测、互联网数据采集和HTML预处理，数据源适配器用于将第三方数据资源接入工作；实时数据流处理子系统连接至存储子系统，并包括相连接的临时存储模块和数据流钩子，临时存储模块以集群的内存作为缓存环境，将实时采集到的数据临时存储起来，供有实时性要求的模块读取；流数据钩子提供用于挂载的钩子，当有数据到达，钩子将数据的基本描述挂载起来，以便挂载到钩子的模块取阅；实时数据流处理子系统中设置有缓存阈值，超过缓存阈值，数据将被清空；存储子系统连接至业务输出子系统，并包括相连接的Hadoop集群和mysql集群，Hadoop集群用于存储大量网页数据和没有随机读写需求的分析结果；mysql集群存储体积较小、需要经常随机读写的数据；底层支持子系统，包括相连接的语义信息抽取模块和语义搜索引擎，语义信息抽取模块负责从文本中抽取语义信息，支持其他需要语义抽取、语义分析的模块，语义信息抽取模块分别连接实时数据处理子系统和业务输出子系统；语义搜索引擎集成了所有与语义搜索、文本处理相关的工具和API模块，其同时连接Hadoop集群和业务输出子系统；加密子系统，包括将特征参数和数字信息进行组合加密的加密模块；以及将特征参数和数字信息进行组合解密的解密模块；业务输出子系统，用于具体业务的执行、调度和展现，包括并联的精准营销模块、数据业务模块、报告生成模块、商业情报分析模块和舆情分析模块；其中，精准营销模块用于为精准营销提供数据搜集、分析和营销手段的技术支持；数据业务模块用于为满足客户特定数据需求而开展的数据搜集和语义分析；报告生成模块为客户生成简短的、概要性的、图文结合的信息概要，支持定期自动生成、报告汇总和撰写；商业情报分析模块用于商机信息分析、竞争对手分析、产业上下游动态和数据分析；舆情分析模块用于话题跟踪分析、事件和人物的相关跟踪分析、网络舆情类数据搜集和集成分析。