[发明专利]一种集装箱码头客户模型建模方法

说明书

本发明公开了一种集装箱码头客户模型建模方法，包括：搭建Spark+Hadoop集群环境；基于设定指标维度选取客户群体信息；处理客户群体信息得到客户群体数据，并对客户群体数据进行归一化处理；建立聚类模型，在搭建的Spark平台上对所述客户群体数据进行聚类分析确定关注客户类别，针对每个类别的关注客户确定客户关注度。解决大数据背景之下的高维数据计算效率问题，帮助集装箱码头识别不同的客户群体，达到优化资源配置、降低成本的目的。

技术领域

本发明属于集装箱码头技术领域，具体地说，是涉及一种集装箱码头客户模型建模方法。

背景技术

随着集装箱码头规模的不断扩大，服务客户群体的迅速增多，集装箱码头公司的客户数据信息在急剧增长，全国集装箱码头一直在探索利用大数据技术实现对码头客户的精细化管理和细分，以实现码头客户资源的高效配置和优化。现在全国集装箱码头客户信息主要领域集中在客户信息数据库及统计分析系统等领域，但是针对大数据背景下集装箱码头客户深层次的挖掘与细分工作少有突破。

发明内容

本发明的目的在于提供一种集装箱码头客户模型建模方法，解决大数据背景之下的高维数据计算效率问题，帮助集装箱码头识别不同的客户群体，达到优化资源配置、降低成本的目的。

为解决上述技术问题，本发明采用以下技术方案予以实现：

提出一种集装箱码头客户模型建模方法，包括：搭建Spark+Hadoop集群环境；基于设定指标维度选取客户群体信息；处理客户群体信息得到客户群体数据，并对客户群体数据进行归一化处理；建立聚类模型，在搭建的Spark平台上对所述客户群体数据进行聚类分析确定关注客户类别，针对每个类别的关注客户确定客户关注度。

进一步的，在搭建Spark+Hadoop集群环境中，包括：所述Spark集群依赖于CDH集群正常工作；以及，在搭建Hadoop集群基础上搭建YARN资源管理器的Spark分布式集群，基于Hadoop底层的HDFS实现海量数据存储，基于Spark实现对大规模数据的快速分布式计算。

进一步的，基于设定指标维度选取客户群体信息中，所述设定指标维度包括：基于客户对码头贡献的集装箱吞吐量、客户对码头贡献的单箱收入、客户对码头贡献收入的增长率、客户挂靠码头的航线数量和客户的欠款额。

进一步的，处理客户群体信息得到客户群体数据，包括：通过ETL工具对不同客户群体信息进行过滤、清洗、转换，得到客户群体数据。

进一步的，对客户群体数据进行归一化处理，包括：采用线性归一化处理客户群体数据，使得结果值映射到[0,1]之间。

进一步的，建立聚类模型，具体包括：在搭建的Spark集群环境中将所述不同客户群体数据采用Spark MLlib K-means算法建立Spark MLlib K-means聚类模型。

进一步的，在K-means算法中，采用误差平方和SSE确定最佳聚类数k；在SparkMLlib K-means中对初始聚类中心采用随机选择方式得到所需的聚类中心。

与现有技术相比，本发明的优点和积极效果是：本发明申请提出的集装箱码头客户模型建模方法，通过搭建Spark+Hadoop集群模式，实现海量数据的分布式存储和快速分布式计算，对客户信息细分效率更快，更有利于高效的进行客户资源配置和优化；基于能够体现客户价值的设定指标维度：客户对码头贡献的集装箱吞吐量、客户对码头贡献的单箱收入、客户对码头贡献收入的增长率、客户挂靠码头的航线数量和客户的欠款额，来选取客户群体信息，建模分析不同的客户群体数据，确定重点关注客户类别，对不同的客户类别给予不同的关注度，从客户的“全面把控”到“重点关注”，保证高效率的资源配置与优化，可节约成本提高收入。

结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

附图说明