[发明专利]一种自适应的组合数据挖掘模型系统及方法

说明书

技术领域

本发明涉及数据挖掘技术领域，具体是一种自适应的组合数据挖掘模型系统及方法。

背景技术

互联网技术和互联网应用的飞速发展极大地便利了人们的生产与生活，而伴随其发展、以爆炸级速率增长的数据则蕴含着用户的潜在需求和行为习惯，为挖掘其中有用知识、提升服务质量提供了必要基础。大数据技术旨在及时发现隐蔽在纷繁数据背后的有用信息，进而更智慧地满足应用发展需求，如建立用户行为预测模型、挖掘用户的消费习惯等，能够为制定精准营销方案提供技术支撑。基于用户数据，探讨一种能够广泛适应各种数据规模和质量的用户流失预测模型是本发明旨在解决的重点问题。

以用户数据为例，生成、采集、存储和被利用往往需要相当长的一段时间，但是，为了对决策进行指导，适应各类型数据建立数据挖掘方法已成为辅助广大业务应用系统优化运营的关键。事实上，用户数据具有来源多样、规模差异普遍存在且随时间积累而剧烈变化等特点。以在线游戏为例，用户数据从注册开始逐步得到记录，而其使用频率决定了其个人数据规模，与第三方应用系统(如社交网络、统一用户认证等)的集成更是为获取更多维度数据提供了可能。设计开发可行的数据挖掘模型，探索智能化的用户服务策略已成为各应用提供商在市场竞争中获取有利地位的法宝。然而，上述用户数据特点决定了可行的挖掘模型应能够适应不同用户数据规模，且能够随着其数据量的增加不断优化调整。因此，如何处理历史数据与当前数据、用户个人数据与其他用户数据的关系成为设计挖掘模型的必须解决的问题。在本发明中，我们建立了一种通用的数据万挖掘架构，保障系统按照模块化实现，应用者可以自主定制其所需的挖掘模型、对模型的依赖程度以及建立各模型评价指标。在此基础上，规划了一种可以广泛使用的数据分析与挖掘架构。

一般地，数据分析可以分为静态数据分析和流式数据分析。对于前者，其数据集往往是静态的，往往采用将数据分为训练集与测试集，通过特征的提取和标注，对训练集进行训练得出训练模型，并通过测试集进行验证，进而确定所训练模型是否可用。对于流式数据分析，其数据集不断产生，分析过程应能够根据输出结果动态调整，而确定何时、如何调整是保证分析结构可用的关键。针对具体的分析对象和应用场景，根据分析手段和过程特点，常用到的分析模型包括基于统计的分析方法、基于特征提取的分析方法和基于特征学习的分析方法；根据是否需要先验知识的，分析模型又可分为有监督分析模型、无监督分析模型和半监督分析；根据是否考虑属性或特征简单关联性，模型可分为独立分析模型和关联分析模型。

本发明旨在提供一种利用静态分析方法选择和训练模型，并借鉴流式数据分析方法的特点，使用流式数据不断验证和调整分析模型，进而保障模型的适应性和分析结果的准确性。此外，还给出了一种能够保证该框架具有保底性、抢占性和主观反映性的模型组合方法。本发明可直接应用于多种业务系统的辅助分析与优化。

发明内容

本发明的目的在于提供一种自适应的组合数据挖掘模型系统及方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种自适应的数据挖掘组合模型系统，包括：

(1)主动选择定制模块，能够主动选择和定制多种数据挖掘模型，用于适应各种类型和规模数据的分析需求；

(2)框架模块，方便设定和选择指标，用于所选择数据挖掘模型的排序，适应数据挖掘场景的动态性需求；

(3)支撑定制模块，提供支撑定制化组合多种数据挖掘模型的方法，用于为发挥运维人员经验提供渠道，进而提高分析结果准确性；

(4)机制模块，提供依据挖掘输出结果反馈动态调整数据挖掘模型组合方式的机制，用于保证数据挖掘模型组合的可扩展性。

作为本发明进一步的方案：主动选择定制模块，对应的工程实现包括：提供提交数据挖掘模型的接口，并规范其所需要的各种数据接口和数据需求；对于添加完成的数据挖掘模型，建立对应的索引结构，建立基于类别的定制和选择操作方式；对各种数据挖掘模型的使用效果评价进行显示辅助用户针对性的选择；对于超过时效的数据挖掘模型，用户删除或存档。

作为本发明进一步的方案：框架模块，对应的工程实现包括：显示数据挖掘模型的各项可使用参数和已有指标的使用效果，提供定制的界面，用户自定义或选择已有的指标来适应特定的业务应用；针对给定的指标，开发实现引擎在判断的基础上自动化的调整数据挖掘模型的排序、数据挖掘模型的权重或提示选择新的数据挖掘模型。