[发明专利]一种基于金融风控数据的主题仓建设方法在审
申请号: | 202310102255.8 | 申请日: | 2023-02-13 |
公开(公告)号: | CN116107998A | 公开(公告)日: | 2023-05-12 |
发明(设计)人: | 冯亚伟;杨宝华;赵国森;崔乐乐;徐宏伟 | 申请(专利权)人: | 天元大数据信用管理有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/215;G06F16/28;G06Q40/03 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 孙晶伟 |
地址: | 250000 山东省济南市高新*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 金融 数据 主题 建设 方法 | ||
1.一种基于金融风控数据的主题仓建设方法,其特征是梳理商业模式、业务产品技术架构及数据仓的技术需求;
根据梳理结果利用MaxCompute提供计算引擎,利用DataWork提供数据集成,根据金融风控数据创建主题仓:
采用分类设计的策略,构建业务数据的数据模型,将数据模型分层,根据数据模型的分层实现各数据层统一标准,
利用DataWorks提供数据服务开放接口,通过开放接口与现有的系统和产品进行集成,并进行数据开发,
利用DataWorks根据任务周期进行任务调度,
监控数据质量,并利用DataWorks管理数据安全。
2.根据权利要求1所述的一种基于金融风控数据的主题仓建设方法,其特征是所述将数据模型分层,包括:
按照作用域分层,将数据按照治理阶段分为ODS数据引入层、DWD明细层、DWS指标层和ADS数据应用层;
或者按照业务逻辑划分出主题域,根据主题域把源数据拆分与整合到金融主题的数据模型中进行分层。
3.根据权利要求1所述的一种基于金融风控数据的主题仓建设方法,其特征是根据金融风控数据创建主题仓进行数据同步:同步所有业务数据到一个项目,并只同步一份数据,避免重复同步。
4.根据权利要求1所述的一种基于金融风控数据的主题仓建设方法,其特征是所述利用DataWorks进行数据开发,包括:
通过DataWorks的组件进行数据流、批量及实时的数据开发,并对数据聚合、数据过滤和业务解析进行相应的操作开发。
5.根据权利要求1所述的一种基于金融风控数据的主题仓建设方法,其特征是所述利用DataWorks根据任务周期进行任务调度,包括:
根据业务相关性选择月、周及日制定任务周期,根据任务周期进行任务调度。
6.根据权利要求1所述的一种基于金融风控数据的主题仓建设方法,其特征是所述监控数据质量,包括:
制定监控范围和监控基线,所述监控范围包括数据表大小的变化,函数的变化,字段枚举值和主键的冲突,非法格式,异常值触发报警和数据中断,所述基线为能够保障数据资产及时产出的标准。
7.根据权利要求1所述的一种基于金融风控数据的主题仓建设方法,其特征是所述利用DataWorks管理数据安全,包括:
通过DataWorks的组件对主题仓的引擎进行管控,并对项目进行管控,同时对隐私数据进行数据脱敏。
8.一种基于金融风控数据的主题仓建设系统,其特征是包括梳理模块和创建模块,创建模块包括数据分层模块、数据开发模块、调度模块和安全监管模块,
梳理模块梳理商业模式、业务产品技术架构及数据仓的技术需求,
创建模块根据梳理结果利用MaxCompute提供计算引擎,利用DataWork提供数据集成,根据金融风控数据创建主题仓:
数据分层模块采用分类设计的策略,构建业务数据的数据模型,将数据模型分层,根据数据模型的分层实现各数据层统一标准,
数据开发模块利用DataWorks提供数据服务开放接口,通过开放接口与现有的系统和产品进行集成,并进行数据开发,
调度模块利用DataWorks根据任务周期进行任务调度,
安全监管模块监控数据质量,并利用DataWorks管理数据安全。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天元大数据信用管理有限公司,未经天元大数据信用管理有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310102255.8/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置