[发明专利]基于线上大数据智能聚合模式下的数据可靠性评价算法

说明书

本发明公开了一种基于线上大数据智能聚合模式下的数据可靠性评价算法，包括如下步骤：步骤1，数据源采信的权重赋值：对数据源进行信用评级，决定数据源采信的权重z_i；步骤2，数据源可靠性赋值：对同一类型数据基于关键词聚类出现次数进行赋值决定数据采信分值，基于聚类出现次数进行可靠性赋值S_i；步骤3，可靠性评价分值计算：取不同结果的基于聚类结果获得可靠性分S_i，取这个结果所有数据源中数据源信用评价最高对应的权重系数z_i，即可计算该结果可靠性性评价分值Y_i＝z_i*S_i。本发明能够自动判断不同数据结果的可靠性，自动实现“去伪存真”的可靠性评价筛选。

技术领域

本发明属于大数据处理技术领域，具体涉及一种基于线上大数据智能聚合模式下的数据可靠性评价算法。

背景技术

目前市面上线上大数据智能聚合服务公司，技术重点偏向线上大数据智能聚合能力、线上数据高效采集管理能力及数据可视化展示能力这类通用能力的建设上，而数据处理重点偏向数据之间的关联性。

由于我司一直聚焦在小微金融大数据风控服务这个业务场景，而风控服务的关键是数据可靠性，所以在我司在传统的线上大数据智能聚合服务的基础上，围绕小微金融大数据风控的场景的特性，重点开发这套基于线上大数据智能聚合模式下的数据可靠性评价算法。

因为只有让聚合数据更可靠，才能让基于线上大数据的风险评价体系更可靠，进而让小微金融的风险更可控，更好助力小微普惠金融的发展。

发明内容

本发明的目的在于提供一种基于线上大数据智能聚合模式下的数据可靠性评价算法，通过一套数据可靠性算法来来自动判断不同数据结果的可靠性，具有自动实现“去伪存真”的可靠性评价筛选的优点。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于线上大数据智能聚合模式下的数据可靠性评价算法，使用基于线上大数据智能聚合模式下的数据可靠性评价终端，具体包括如下步骤：

步骤1，数据源采信的权重赋值：对数据源进行信用评级，决定数据源采信的权重z_i；

步骤2，数据源可靠性赋值：对同一类型数据基于关键词聚类出现次数进行赋值决定数据采信分值，基于聚类出现次数进行可靠性赋值S_i；

步骤3，可靠性评价分值计算：取不同结果的基于聚类结果获得可靠性分S_i，取这个结果所有数据源中数据源信用评价最高对应的权重系数z_i，即可计算该结果可靠性性评价分值Y_i＝z_i*S_i。

进一步限定，步骤1的具体过程如下：基于数据源网站细分类型领域排名、运营公司背景、数据权威、数据生产方式、以及网站的活跃度，并细分为完全信任、比较信任、一般信任、比较不信任、完全不信任五个层级。

进一步限定，其中，在步骤1中，完全信任的数据源即为白名单网站数据源，在此白名单型数据源中类爬取到数据，即可完全采信，其权重无限大；白名单网站数据源包括“学信网”、“裁判文书网站”。

进一步限定，其中，在步骤1中，完全不信任的数据源即为黑名单网站数据源，在进行数据聚合的过程中自动将此类网站数据源进行排除；完全不信任的数据源包括陌生社交网站。

进一步限定，其中，在步骤1中，比较信任、一般信任和比较不信任的数据源赋予权重系数z_i；

比较不信任网站，将其权重系数z_i设置为0.8；

一般信任网站，将其权重系数z_i设置为1.0；