[发明专利]一种基于Hadoop的移动互联网用户行为分析方法

摘要

本发明涉及一种基于Hadoop的移动互联网用户行为分析方法，所述方法包括：2G/3G/LTE网络数据采集步骤；协议栈解析步骤；实时DPI业务识别步骤；网络爬虫步骤；二次DPI业务识别步骤；以及数据挖掘步骤。本发明提供的一种基于Hadoop的移动互联网用户行为分析方法，能够解决当前电信运营商的流量经营方案单一、数据处理效率低下的问题。

主权项

一种基于Hadoop的移动互联网用户行为分析方法，其特征在于，所述方法包括：2G/3G/LTE网络数据采集：通过采集卡从2G/3G/LTE网络接口采集移动互联网用户在网络中从事活动的原始信令数据与业务数据，并将所述原始信令数据与所述业务数据导入到分布式文件系统HDFS，以通过HDFS提供数据访问业务；协议栈解析：将所述原始信令数据与所述业务数据翻译为具有逻辑意义的数据结构的业务流，为深度包检测DPI业务识别提供上下文；实时DPI业务识别：对所述业务流中的指定报文数据进行信息检测，以识别所述业务流所承载的应用类型；网络爬虫：通过爬虫程序定向抓取互联网中的信息，所述信息包括视频业务的名称、类型，并将抓取的信息保存到DPI特征库中；二次DPI业务识别：基于爬虫所建立的DPI特征库，通过正则表达式从URL中获取关键值，并与所述DPI特征库进行匹配，以获取移动互联网用户的详细信息，并将所述用户的详细信息导入到Hive；数据挖掘：在Hive中进行数据分析及预处理，并通过Mahout/Spark组件对所述用户的详细信息进行聚类分析、分类预测、推荐以及关联分析，并导出结果数据，以实现电信运营商的客户关系管理及市场推广应用。