[发明专利]一种公司用户画像的生成方法

摘要

本发明公开了一种公司用户画像的生成方法,其步骤包括离线画像和实时画像，离线画像通过spark搭建画像系统，并将数据同步到hdfs，进行定时更新，通过同步数据、统计数据和gbdt算法预测特征，生成离线画像；实时画像通过kafka将用户的实时信息发送至spark streaming，根据用户行为更新画像，并将每个窗口的数据进行统计并预测，更新到用户的画像列表中。本发明采用同步的形式，定时将数据源的数据同步到hdfs中，与spark更好地结合，提高效率并减少服务器压力，确保画像具有时效性；并进行多时间串口的滑动，通过用户实时信息更新画像，保证画像的实时性，使特征以及画像不会受太久前的数据干扰，使画像更加符合用户本身，提高画像的准确性。

主权项

1.一种公司用户画像的生成方法，其特征在于包括以下步骤：步骤1、离线画像1‑1数据同步：基于spark搭建画像系统，将用户数据按照不同的业务需求存储在多个数据源中；将各个数据源的数据同步一份到hdfs上，得到同步数据，并定时进行更新;1‑2数据清洗：将同步数据进行清洗，去除脏数据以及缺失字段较多的数据；1‑3数据统计：将统计数据类型的画像按照时间窗口划分好进行统计，得到统计数据；1‑4特征预测：通过同步数据、统计数据和gbdt算法预测缺失的、抽象的深度特征；1‑5离线画像存储：将1‑3与1‑4中生成的所有维度的特征进行合并，通过hive存储在hdsf中；步骤2、实时画像2‑1数据传输：画像系统通过kafka将用户的实时信息发送至spark streaming，根据用户行为更新画像；2‑2实时画像生成：将每个窗口的数据进行统计并预测，更新到用户的画像列表中。