[发明专利]一种基于行为感知的大数据提取系统及方法

权利要求书

1.一种基于行为感知的大数据提取系统，包括手机APP、交换机和应用服务器，其特征在于：

所述手机APP通过互联网与交换机无线连接；所述互联网通过交换机与应用服务器连接；所述互联网和应用服务器之间设有一安全设备；

所述交换机用于为多个网络节点提供独享的电性通路；

所述应用服务器包括行为数据获取子系统、数据存储管理子系统、行为感知计算子系统；

所述行为数据获取子系统，用以完成获取用户的历史行为数据，并据此生成融入上下文信息的用户行为数据；

所述数据存储与管理子系统，用以完成用户历史行为数据、上下文信息、用户行为类集、页面采集信息、公告信息的存储与管理；

所述行为感知计算子系统，用以完成依据用户行为数据的分类预处理，通过计算行为波动阈值、根据用户行为判断对公告内容进行分类；

所述行为数据获取子系统还包括用户历史行为生成模块和上下文信息生成模块；

所述用户历史行为生成模块，用以根据用户历史行为记录生成符合公告分类算法需求的数据源；

所述用户上下文信息生成模块，用以实现与用户历史行为对应的上下文信息的生成，包括地理上下文、情绪上下文、环境上下文；

所述行为感知计算子系统还包括行为分类模块和行为波动阈值计算模块；

所述行为波动阈值计算模块，用以针对当前用户群组，采用量化的偏好均值来表示用户行为的变化，即用户行为波动，并根据其量化值分布特征计算波动阈值以分离用户行为孤点；

所述行为分类模块，用以依据行为波动阈值将用户行为分类，输出用户与不同行为类的对应关系；

所述应用服务器还包括采集模块、通信模块、日志模块和检索模块；

所述采集模块用以采集页面信息；

所述通信模块用以应用服务器与交换机之间通信连接；

所述日志模块用以对用户的操作生成日志；

所述检索模块用以用户通过关键字进行全文检索。

2.根据权利要求1所述的一种基于行为感知的大数据提取系统及方法，其特征在于，所述检索模块采用全文检索技术，公告标题和正文组合构成待检索的文本，事先构建文本的词汇检索索引，建立与文本的映射关系，构建成全文检索数据库。

3.根据权利要求1所述的一种基于行为感知的大数据提取系统及方法，其特征在于，所述应用服务器为多个；所述应用服务器包括公告采集服务器、推送信息生成分类服务器、全文检索服务器、数据库服务器、日志分析存储服务器、手机APP应用服务器和反向代理或负载均衡服务器；

其中，所述公告采集服务器、推送信息生成、分类服务器、全文检索服务器、数据库服务器、日志分析存储服务器均匀交换机通信连接；所述手机APP应用服务器通过反向代理或负载均衡服务器与交换机通信连接。

4.根据权利要求1所述的一种基于行为感知的大数据提取系统及方法，其特征在于，所述应用服务器包括公告采集服务器、推送信息生成分类服务器、全文检索服务器、数据库服务器、日志分析存储服务器、手机APP应用服务器和反向代理或负载均衡服务器均统一部署、配置。

5.如根据权利要求1-4所述的一种基于行为感知的大数据提取系统的大数据提取方法，其特征在于，包括如下步骤：

步骤S001页面获取：根据系统配置的网站清单和需要访问的该网站页面清单，每个页面采集线程分批发起异步并访问页面；

步骤S002信息抽取：获取的页面交由页面解析线程组负责页面中需要的信息抽取；

步骤S003信息去重：抽取信息完成后，将重复的信息删除；

步骤S004获取公告内容：通过线程获取公告内容；

步骤S005自动分类：对获取的公告内容进行分类；

步骤S006生成索引：对分类完成的公告内容创建索引；

步骤S007信息分析提取：用户提交的关键字对新信息进行匹配，对匹配的新信息记录到需要推送的信息队列；

步骤S008保存至数据库：将发送的信息保存到系统数据库。