[发明专利]一种基于银行对公数据的知识图谱构建方法和装置

说明书

本发明公开了一种基于银行对公数据的知识图谱构建方法和装置，所述方法包括以下步骤：S1.数据采集,为采集到的每个数据源建立主键；S2.数据清洗,对原始数据中脏数据、缺失值、异常值进行处理；S3.关联分析，分析主表中的主键和其它数据源中的主键关联率；S4.加工数据集市；S5.网络本体层设计,相对于实体层进行网络本体层设计，使得对公网络中只有两个本体，分别是人和企业；S6.网络节点关系抽取。根据本发明的方法和装置实现了知识图谱构建过程中抽取重要关键信息同时剔除了大量无效实体，从而提高数据处理效率。

技术领域

本发明涉及信息技术领域，具体涉及一种基于银行对公数据的知识图谱构建方法和装置。

背景技术

银行业每天都要都要产生海量的交易数据，随着商业银行、金融机构业务的不断发展从而积累了大量的业务数据，并且正在以更快的速度增长，要从这些海量数据中提取出有价值的实体和关系至关重要。

近年来，随着大数据技术的快速发展和计算机运算的能力快速提升。机器学习以及深度学习技术在银行业使用越来越广发，并在很多应用场景取得了重大成果。2012年，谷歌提出了知识图谱的概念，用于增强搜索引擎功能，知识图谱其在本质上是一种概念网络，其节点表示客观物理世界中的实体，而边则表示实体之间存在的各种语义关系。通过这些关系，可以构建企业关系网络，也就是企业知识图谱。构建企业知识图谱，能够帮助我们从大量杂乱的数据中挖掘出企业潜在关联，生成企业画像。

据了解，尽管高效集成的机器学习算法在银行也具有广泛的应用，但由于银行业务分为对公业务和对私业务两大类，对于对公业务，目前已知的对公知识图谱节点繁多，充斥着大量无关紧要的实体和关系。如此庞大的数据也给银行及其监管机构的数据分析部门带来了巨大的挑战。当数据分析任务的复杂性比较高时，由于节点和关系繁多，存在大量信息冗余，海量数据的计算会导致难以承受的开销以及处理效率低下。如何对节点和关系繁多的海量金融数据进行知识图谱构建，并对其进行分析，从而达到发现和规避金融风险的目的，是一个目前亟待解决的技术问题。因此需要研发一种银行对公数据的知识图谱构建方法和装置，将图谱中节点类型和关系高度抽象，抽取重要关键信息同时剔除了大量无效实体，从而简化图谱关系结构，提高数据处理效率。

发明内容

针对现有技术存在的问题，本发明的目的在于解决现有技术中银行对公数据的知识图谱构建中节点和关系繁多导致数据处理效率较低的技术问题，提供一种基于银行对公数据的知识图谱构建方法和装置。

本发明提供一种基于银行对公数据的知识图谱构建方法，其特征在于，包括以下步骤：

S1.数据采集,为采集到的每个数据源建立主键；

S2.数据清洗,对原始数据中脏数据、缺失值、异常值进行处理；

S3.关联分析，分析主表中的主键和其它数据源中的主键关联率；

S4.加工数据集市，将步骤S3中需要参与构建数据集市的数据源按照主表中的主键进行合并；

S5.网络本体层设计,相对于实体层进行网络本体层设计，使得对公网络中只有两个本体，分别是人和企业；

S6.网络节点关系抽取，从步骤S4中构建出的数据集市抽取出所有的实体以及实体和实体之间的关系。

进一步，步骤S1中，使用数据采集模块进行数据采集，采集的数据源包括企业注册信息、法人治理、无形资产、税务数据、工商年检数据、法院诉讼、股权质押、工商处罚、企业贷款逾期信息、企业授信信息、企业流动资产和/或企业固定资产；以企业社会统一代码建立主键。

进一步，步骤S2中，对于缺失值的处理方法是删除缺失率大于第一阈值的变量列，对于缺失率小于第一阈值的可通过将缺失样本作为预测值，使用随机森林算法计算出预测该值进行填充；

进一步，步骤S2中，对于异常值的处理是将异常值作为一种状态使用特殊的标识进行填充，或将异常值剔除。