[发明专利]一种用户画像的实时供数方法、装置及存储介质

说明书

本发明涉及数据处理领域，提供了一种用户画像的实时供数方法、装置及存储介质。目的在于将原有的从T‑1提供数据改造为实时给用户画像系统提供数据。主要方案包括，创建好基础数据表，在上游系统部署ogg源端，OGG源端的E进程负责读取ORACLE的归档日志并将数据库的更新写到trail文件中，P进程负责监听本地trail文件的变化并通过TCP/IP协议将更新推送到目标端的trail文件目录；目标端R进程监听本地的trail文件更新，然后将更新发送到KAFKA；FLINK读取KAFKA里数据，通过定义写入写出流，将数据插入基础数据表。交易数据根据时间戳取最近十分钟的数据，同步到数据库中，供用户画像系统实时查询数据。

技术领域

本发明涉及数据处理领域，提供了一种用户画像的实时供数方法、装置及存储介质。

背景技术

80后、90后总计共有3.4亿人口，并日益成为金融企业主要的消费者，但是他们的金融消费习惯正在改变，他们不愿意到金融网点办理业务，不喜欢被动接受金融产品和服务。年轻人将主要的时间都消费在移动互联网，消费在智能手机上。平均每个人，每天使用智能手机的时间超过了3小时，年轻人可能会超过4个小时。浏览手机已经成为工作和睡觉之后的，人类第三大生活习惯，移动APP也成为所有金融企业的客户入口、服务入口、消费入口、数据入口。

金融企业需要借助于户画像，来了解客户，找到目标客户，触达客户。随着各业务线业务的发展，逐渐对用户画像和实时数据这两部分的诉求越来越多。对用户画像方面，期望有更快、更准、更方便的人群筛选工具和方便的用户群体分析能力。对于实时数据方面，期望拥有可以实时响应的用户行为，同时在算法特征、指标统计、业务外显等业务场景有愈来愈多的数据实时化的诉求。

针对数据实时化的诉求，需要改造现有用户画像系统的数据处理过程，包括从源系统的数据抽取，到画像指标的加工、及数据的同步过程都需要优化调整。只要优化了数据，客户通过用户画像系统查看的数据就是最新的。

针对历史实时数据需求无承接方的现象，已有用户画像系统无法满足多样的人群定向的现状，及业务方进一步人群分析的业务诉求，提出改造原t-1用户画像系统为实时用户画像系统，建设实时数据集成、实时数据调度、实时数据质量中心。该方案针对性地解决了业务痛点，满足了业务诉求。

发明内容

本发明的目的在于将原有的从T-1提供数据改造为实时给用户画像系统提供数据。

为了实现上述目的本发明采用以下技术手段：

一种用户画像的实时供数方法，包括以下步骤

步骤1：创建画像系统的基础数据表，保存从上游系统同步的数据；

步骤2：创建好基础数据表，需要从上游系统同步数据，在上游系统部署ogg源端，OGG源端和上游数据库运行在一起，在OGG源端运行的有两个进程：E进程(Extract)和P进程(pump)，E进程负责读取ORACLE的归档日志并将数据库的更新写到trail文件中(trial可以理解为OGG特有的一种传输数据的文件格式)，P进程负责监听本地trail文件的变化并通过TCP/IP协议将更新推送到目标端的trail文件目录；

步骤3：目标端在OGG源端同一网段内服务器上部署，目标端上运行有R进程(REPLIACT)，R进程监听本地的trail文件更新，然后将更新发送到KAFKA；

步骤4：在FLINK里构建连接KAFKA的连接器，方便对KAFKA数据的接入；

步骤5：FLINK读取数据生成时间戳，通过定义写入写出流，将数据插入到步骤1定义的基础数据表。

步骤6：进行增量数据统计，交易数据根据步骤5生产的时间戳取最近十分钟的数据，得到指标数据。

步骤7：把步骤6得到的指标数据同步到MYSQL、CLICKHOUSE数据库中，供用户画像系统实时查询数据。