[发明专利]一种房地产用户行为分析平台

说明书

技术领域

本发明属于房地产互联网应用技术领域，具体涉及一种房地产用户行为分析平台。

背景技术

随着互联网技术的多样化快速发展，人们获取信息的途径也更加多样、便捷，同时对于信息的时效性要求也越来越高。在用户需求挖掘中，针对用户行为数据分析是最直接有效的方式，但行为数据量较大，计算维度又比较多，后续数据用户的需求增长比较快，因此对计算分析平台有相当严苛的要求。

大数据接入、存储、挖掘及分析都不是全新的技术，它们的出现与发展有其自身的必然性。随着地产配套领域的不断增多以及多元化的商业行为的形成，地产数据规模呈几何级数增长。数据的存储、计算和分析需求猛增，特别是大数据处理技术的出现，原有的数据库工具由于处理数据规模有限，己无法满足用户的需求。用户需要的不仅仅是一般的查询和报表工具，更需要的是那些能够帮助他们从浩如烟海的行为数据中提取出具有预测性的高质量信息的工具。大数据挖掘及分析技术的出现和发展正好符合了这一潮流。大数据技术可以有效的处理海量的数据，数十亿甚至数百亿的数据离线或者实时计算。数据从抽取、存储、分析挖掘，到最后的呈现应用，都需要搭建完整的技术解决方案。然而，目前房地产领域还没有针对用户行为分析的技术方案。

发明内容

为了解决现有技术存在的上述问题，本发明提供了一种房地产用户行为分析平台。

本发明所采用的技术方案为：一种房地产用户行为分析平台包括安全控制与运行监控模块、数据抽取层、数据存储层、分析挖掘层、接口服务层和应用端；所述安全控制与运行监控模块用于对房地产用户行为分析平台的安全运行进行监控；所述数据抽取层用于从所述应用端中抽取数据，抽取的数据包括业务数据、历史数据、日志数据和行为数据；所述数据存储层用于存储从应用端中抽取的数据；所述分析挖掘层用于加载存储在所述数据存储层的数据仓库中的的数据，并加工计算成适用于挖掘算法的数据矩阵，然后挖掘引擎运行挖掘任务在数据矩阵上计算，得到用户属性；用户属性存储到所述数据存储层中或通过所述接口服务层展示给所述应用端。

进一步地，所述应用端包括楼盘字典、Q房网、盘客通、新房通、ERP系统、金融系统或媒体。

进一步地，所述数据抽取层采用批处理框架Spring Batch对任务配置进行监控执行，结合计算任务调度系统完成整个多数据源的业务数据的抽取工作。

进一步地，所述数据抽取层采用数据处理工具Logstash从所述应用端抽取用户行为数据；所述数据处理工具Logstash包括数据输入端、数据中转层和数据输出端，所述数据输入端用于接收多种数据源，所述数据中转层用于进行格式处理、数据类型转换、数据过滤、字段添加和修改，所述数据输出端用于将数据输出到指定位置。

进一步地，所述数据抽取层采用分析与可视化平台Kibana对日志数据进行统计呈现。

进一步地，所述分析挖掘层包括离线数据计算和实时数据计算，所述离线数据计算中的离线计算引擎用于历史数据的模式计算和预计算，所述实时数据计算中的在线计算引擎用于对新数据点的增量计算。

更进一步地，所述离线数据计算时，采用软件平台Hadoop、计算引擎Spark和开源分布式资源管理框架Mesos组成的架构对离线数据进行处理。

更进一步地，所述所述实时数据计算时，采用软件平台Hadoop、执行模型Spark Streaming和分布式实时大数据处理框架Storm组成的架构对实时数据进行处理。

进一步地，所述数据存储层采用分布式面向列的开源数据库HBase和关系型数据库MySQL存储数据；所述分布式面向列的开源数据库HBase中设置有基础信息库和产品交互日志库；所述基础信息库用于存储用户信息、房源信息和交易信息；所述产品交互日志库用于存储网络用户的各种交互操作产生的日志信息；所述关系型数据库MySQL中设置有系统元数据库、系统配置库和决策库，所述系统元数据库用于存储离线和在线计算任务以及各业务数据的记录数据、数据存储结构信息和各种任务的计算参数；所述系统配置库用于存储各种配置信息、模块信息、用户登录验证和用户权限；所述决策库用于存储计算分析任务产出的决策规则和知识、查看数据和决策验证。

更进一步地，所述分析挖掘层采用Spark SQL、Spark MLlib、Mahout和Spark GraphX组合的形式将处理后的数据通过所述接口服务层展现给所述应用端。