[发明专利]数据业务数据的分发方法及装置

说明书

技术领域

本发明涉及通信领域，具体而言，涉及一种数据业务数据的分发方法及装置。

背景技术

随着电信行业近年来3G业务的迅速推广，海量的数据业务呈现种类多，业务划分复杂，数据源混乱，各业务缺乏共性的特点。目前的数据业务管理以单表为主，大都仅限于分析收入和用户，已经无法满足运营商衡量业务运行状况的需要。如何有效的组织和管理这些爆炸性增长的数据，保证不同数据源的相同指标在不同粒度的统计口径下保持一致，最终满足上层决策支持系统的应用，这些都是急需解决的技术难题。

在3G应用不断展开的背景下，数据业务已经日益成为运营商现在和未来最重要的利益增长点。在网络状况不断改善，网络带宽不断加大的情况下，海量的数据业务呈现出种类多、来源杂、缺乏共性，如何组织和管理这些海量数据是业界的一个难题。

这项技术难点在于缺乏一个基于海量数据业务的分发和稽核方法，不仅仅是一个技术问题，还涉对数据业务指标进行汇总和分析，并对数据如何组织和存放进行建模；完善经营信息应用的整体技术架构，增强经营分析系统对数据业务的处理能力，提高知识共享程度；通过数据集市组织数据业务信息，构造针对特定主题的通用经营信息应用模型。

现有的技术方案中，对数据业务的处理过程中，数据源混乱、数据不全面，对于相关原始数据、统计的支撑还不到位，没有展现业务的详细经营信息。不同于传统语音业务，数据业务种类多，需求多，而且业务和需求变化也大，而各业务数据源也是千差万别，有来自营帐系统，有来自总部下发的数据，有来自渠道分销系统的文本文件，也有直接来自经营分析系统的数据库表。除了文件格式的不一致，同类文件在结构上也不一样。

另一个现状是数据处理效率低，相比千万级数据量的话音业务来说，数据业务的数据量小很多，因此在经营分析系统建立的初期没有考虑对数据业务进行专门的管理和汇总，而只是以业务类型为区分将数据业务与其他业务数据一起存放在数据仓库最底层的ODS层表中。但随着需求的增多，这种弊端日益明显。例如不同需求涉及到多次重复查询，这对系统的硬件开销造成了极大压力。

此外数据准确性无法保证，一方面多数据源增加了数据出错的可能性，例如外部输入程序带来的脏数据导致数据丢失和错误，另一方面没有完善的机制来检验数据的有效性。在保证数据源准确的前提下仍然无法确定数据的真实与准确性。

最后是只能接受被动查询，不能主动推送和定制数据。基于数据仓库的经营分析系统是面向分析的系统，其建立目的是为了方便决策人员进行查询和分析。数据仓库提供数据，以供被动查询使用。但是随着客户需求的不断演进，出现了诸如短信接口，指标上传等需要定时按要求进行分发和推送的新要求。而且这种需求越来越多，因为自动化的数据处理可以大大减少出错的可能。

综上所述，相关技术中数据业务处理存在以下缺陷：现有的海量数据业务处理方法效率不高，无论是被动还是主动查询方式，数据的处理一般采用建索引，这种以空间换时间的方法不能满足需要；准确性也不高，因为涉及数据业务种类多，业务划分复杂，数据源混乱，现有方法无法保证不同数据源的相同指标口径保持一致，也无法自动化验证数据是否一致；系统容错性方面，目前的数据采集、准备阶段对脏数据的处理还没有一个完整的标准。

发明内容

针对相关技术中数据业务数据处理准确性不高和可靠性差的问题，本发明提供了一种数据业务数据的分发方法及装置，以至少解决上述问题。

根据本发明的一方面，提供了一种数据业务数据的分发方法，包括：从上层应用获取数据业务的业务数据；从业务数据的头部读取上述业务数据的描述信息；根据上述描述信息确定上述业务数据所属的业务类型；调用预先设置的与上述业务类型对应的类型模板，检测上述业务数据中记载的属性的取值与上述类型模板对应的属性要求是否匹配，如果匹配，则确定上述业务数据正常；按照当前分发方式，分发确定正常的上述业务数据。

优选地，在从上层应用获取数据业务的业务数据之后，上述方法还包括：判断获取的上述业务数据是否完整，如果是，则继续执行从上述业务数据的头部读取上述业务数据流的描述信息的步骤。

优选地，上述方法还包括：从外部数据源中读取预先设置的一个或多个类型模板。

优选地，从外部数据源中读取预先设置的一个或多个类型模板之后，上述方法还包括：判断读取的类型模板的数量是否与预先设置的类型模板数一致；如果一致，对读取的各个类型模板进行合法性检验。