[发明专利]一种自动化数据流转和数据处理方法、共享文件服务器

说明书

本申请公开了一种自动化数据流转和数据处理方法、共享文件服务器，所述方法包括：将第一业务推送的数据存储到共享目录中；监听所述共享目录中数据的状态变化，确定需要处理的目标数据；根据所述目标数据的种类调用相应的数据处理脚本处理所述目标数据，并将处理结果入库到与所述数据处理脚本对应的数据库。

技术领域

本申请涉及大数据处理技术，尤其涉及一种自动化数据流转和数据处理方法、共享文件服务器。

背景技术

目前，数据源的传输以及处理采用如下方式：业务A生产数据源，该数据源为文本数据。业务A将文本数据推送给业务B和算法业务C，算法业务C处理数据后再推送给业务B。业务B根据业务需求对推送来的数据进行处理，并把处理后的数据入库到数据数据库中用于业务流转。

在当今大数据时代业务数据量非常庞大的情况下，使用最小人力和时间投入成为一种挑战。

发明内容

为解决上述技术问题，本申请实施例提供了一种自动化数据流转和数据处理方法、共享文件服务器

本申请实施例提供的自动化数据流转和数据处理方法，包括：

将第一业务推送的数据存储到共享目录中；

监听所述共享目录中数据的状态变化，确定需要处理的目标数据；

根据所述目标数据的种类调用相应的数据处理脚本处理所述目标数据，并将处理结果入库到与所述数据处理脚本对应的数据库。

在一实施方式中，所述方法还包括：

在共享文件服务器上创建所述共享目录，在所述共享目录下创建一个或多个数据类型目录，其中，不同的数据类型目录用于存储不同种类的数据；

为连接所述共享文件服务器的一个或多个业务创建各自的用户，所述用户对所述共享目录具有读写操作的权限，且不具有删除操作的权限。

在一实施方式中，所述将第一业务推送的数据存储到共享目录中，包括：

根据数据的传输时间在数据类型目录中创建日期目录；

在所述日期目录下接收所述第一业务传输的数据并形成json格式的数据文件，其中，所述数据文件中数据格式为：每一行数据是一个json串，代表一条完整的数据，行与行之间使用<REC>分隔；

在所述数据传输的过程中，在所述数据的同级目录下创建传输过程状态的空文件；在所述数据传输完成后，在所述数据的同级目录下创建传输完成状态的空文件。

在一实施方式中，所述监听所述共享目录中数据的状态变化，确定需要处理的目标数据，包括：

设置自动化目录监听脚本的运行频率，利用所述自动化目录监听脚本监听所述共享目录中数据的增量变化；

若所述增量变化对应的数据的同级目录下存在传输完成状态的空文件，则所述增量变化对应的数据为需要处理的目标数据。

在一实施方式中，所述根据所述目标数据的种类调用相应的数据处理脚本处理所述目标数据，包括：

若所述目标数据的种类为elasticsearch数据，则所述自动化目录监听脚本调用elasticsearch脚本处理所述目标数据；

若所述目标数据的种类为MySQL数据，则所述自动化目录监听脚本调用MySQL脚本处理所述目标数据。

在一实施方式中，所述方法还包括：

将处理结果入库到与所述数据处理脚本对应的数据库后，在所述数据的同级目录下创建处理完成的状态空文件。

本申请实施例提供的共享文件服务器，包括：