[发明专利]一种面向SAP PI应用集成平台的数据采集方法及系统

说明书

技术领域

本发明属于计算机领域，涉及面向SAP  PI应用集成平台的一种数据采集方法及系统。

背景技术

数据集成已成为企业信息化过程中不可或缺的一个重要组成部分，目前大量的业务数据均通过数据集成平台进行数据交换，从而实现企业业务流程跨应用流转。SAP PI平台作为SAP ERP系统配套的数据集成平台，在电力、钢铁、烟草等行业已实施SAP ERP的企业被广泛使用。

目前企业基于对数据集中管控的价值出发，期望对业务全过程进行管理，需要实现从数据集成平台获取全过程数据，从而实现数据的一体化利用。

目前面向数据集成平台的数据采集系统大多采用2种方式：

1.      在数据集成平台上开发相应的接口，将每次数据交换都转发一份给数据采集系统，这种方式一则增加数据集成平台的负载，二则交换接口变换的同时也需要同步修改；

2.      在数据采集系统上部署一套对应的接口定义工具，每次针对接口变化均需要调整相应的接口定义和业务数据结构，可维护性较差，且容易造成业务数据不一致或丢失。

因此，需要本领域技术人员迫切解决的一个技术问题就是：如何面对企业业务变化，灵活地完成对数据集成平台变化的快速适配，从而确保业务数据的采集完整性及高效性。

发明内容

为了解决上述的技术问题，本发明的第一个目的是提供一种面向SAP PI应用集成平台的数据采集方法，该方法无需额外配置，即可方便快捷地从SAP PI应用集成平台环境中更新接口模型，并采集分析相关交换数据，按业务数据结构保存至传统物理数据库中，从而支撑传统数据挖掘及业务分析类系统。本发明的第二个目的是提供一种面向SAP PI应用集成平台的数据采集系统。

为了实现上述的第一个目的，本发明采用了以下的技术方案：

一种面向SAP  PI应用集成平台的数据采集方法，采用分段式采集模式，实现零配置的业务数据转换，包括以下步骤：

S1、采集SAP  PI平台中的数据交换接口模型定义数据，并导入系统；

S2、对该数据交换接口模型定义数据进行数据处理，生成对应的业务数据模型及配套的业务数据表；

S3、从SAP  PI平台中采集业务交换数据，并导入系统；

S4、根据预生成的业务数据模型，解析该业务交换数据，进行数据转换，并存储于相应的业务数据表中。

优选地，所述的步骤S1进一步包括:S11、采集服务单元发送基于SOAP协议的数据交换接口模型定义查询请求至SAP PI平台对应的服务接口；S12、服务接口调用SAP PI内部API接口获取相应的数据交换接口模型定义数据及数据交换接口模型变更日志信息；S13、服务接口将查询结果返回采集服务单元；S14、采集服务单元将所采集到的数据提交数据处理单元处理。

优选地，所述的步骤S2进一步包括：S21、数据处理单元对采集到的数据交换接口模型变更日志信息进行识别，如为新增数据交换接口模型操作则进入S22步骤，如为修改数据交换接口模型操作则进入S23步骤，如为删除数据交换接口模型操作则进入S24步骤；S22、解析相应的数据交换接口模型定义数据，根据数据交换接口模型定义结构生成业务数据模型结构，并根据业务数据模型结构在数据库中生成一组配套的业务数据表；S23、解析相应的数据交换接口模型定义数据，并查询本地存储的业务数据模型结构，并进行比对处理，采用多版本管理的方式实现业务数据模型结构的管理，采用增量式维护的方式实现业务数据表的管理；S24、解析相应的数据交换接口模型定义数据，并查询本地存储的业务数据模型结构，并进行废弃处理。

优选地，所述的步骤S3进一步包括:S31、采集服务单元发送基于SOAP的业务交换数据查询请求至SAP PI平台对应的服务接口；S32、服务接口调用SAP PI内部API接口获取相应的业务交换数据及平台交换日志信息；S33、服务接口将查询结果返回采集服务单元；S34、采集服务单元将所采集到的数据提交数据处理模块处理。

优选地，所述的步骤S4进一步包括：S41、数据处理单元对采集到的业务交换数据进行识别，分析所属的接口模型；S42、根据接口模型属性从系统中提取业务数据模型的最新结构定义；S43、根据该业务数据模型定义，将交换数据从XML格式转换成JAVA对象格式；S44、根据该业务数据模型定义，将JAVA对象格式转换成业务数据集，并保存至数据库相应的业务表中。

为了实现上述的第二个目的，本发明采用了以下的技术方案：