[发明专利]一种基于行为感知的大数据提取系统及方法

摘要

本发明公开了一种基于行为感知的大数据提取系统及方法，涉及数据处理领域。本发明的一种基于行为感知的大数据提取方法包括如下步骤：步骤S001：页面获取；步骤S002：信息提取；步骤S003：信息去重；步骤S004：获取公告内容；步骤S005：自动分类；步骤S006：生成索引；步骤S007：信息分析提取；步骤S008：保存至数据库。本发明通过异步访问多个服务器同时采集多个网站页面数据，利用互联网的技术手段以及行为感知技术进行数据分析，为用户匹配感知信息，并对完成用户信息的智能分拣及过滤，实时为用户推送精准的匹配信息，提高了网页信息采集速度以及精准度，极大的增加了用户体验度。

主权项

1.一种基于行为感知的大数据提取系统，包括手机APP、交换机和应用服务器，其特征在于：所述手机APP通过互联网与交换机无线连接；所述互联网通过交换机与应用服务器连接；所述互联网和应用服务器之间设有一安全设备；所述交换机用于为多个网络节点提供独享的电性通路；所述应用服务器包括行为数据获取子系统、数据存储管理子系统、行为感知计算子系统；所述行为数据获取子系统，用以完成获取用户的历史行为数据，并据此生成融入上下文信息的用户行为数据；所述数据存储与管理子系统，用以完成用户历史行为数据、上下文信息、用户行为类集、页面采集信息、公告信息的存储与管理；所述行为感知计算子系统，用以完成依据用户行为数据的分类预处理，通过计算行为波动阈值、根据用户行为判断对公告内容进行分类；所述行为数据获取子系统还包括用户历史行为生成模块和上下文信息生成模块；所述用户历史行为生成模块，用以根据用户历史行为记录生成符合公告分类算法需求的数据源；所述用户上下文信息生成模块，用以实现与用户历史行为对应的上下文信息的生成，包括地理上下文、情绪上下文、环境上下文；所述行为感知计算子系统还包括行为分类模块和行为波动阈值计算模块；所述行为波动阈值计算模块，用以针对当前用户群组，采用量化的偏好均值来表示用户行为的变化，即用户行为波动，并根据其量化值分布特征计算波动阈值以分离用户行为孤点；所述行为分类模块，用以依据行为波动阈值将用户行为分类，输出用户与不同行为类的对应关系；所述应用服务器还包括采集模块、通信模块、日志模块和检索模块；所述采集模块用以采集页面信息；所述通信模块用以应用服务器与交换机之间通信连接；所述日志模块用以对用户的操作生成日志；所述检索模块用以用户通过关键字进行全文检索。