[发明专利]数据处理方法、装置、设备及介质

说明书

本申请实施例提供了数据处理方法、装置、设备及介质，应用于数据处理技术领域，通过接收数据处理通知，根据数据处理通知，从路由表确定目标外部数据源和目标模型客户端；调用预定义的重建接口重建目标模型客户端的索引模型；从目标外部数据源获取第一数据；将第一数据进行数据转换，得到与索引模型对应的第二数据；调用预定义的添加接口将第二数据插入至索引模型；能够兼容多种数据源和模型，快速完成数据的转换和传输；通过预定义的接口实现不同数据获取过程的统一化；能够集成化为轻量的工具包，具有硬件资源需求低和维护成本低的优点。

技术领域

本申请涉及数据处理领域，尤其涉及数据处理方法、装置、设备及介质。

背景技术

医疗图像病症预测算法模型需要从数据源获取医疗图像数据实现离线训练和在线预测；在此过程中，存在以下问题：数据源接口多样化问题、数据获取流程多样化问题以及数据源与模型之间的数据格式适配问题。目前的解决方案包括flume日志收集系统和flink分布式处理框架。其中，flume针对数据源接口多样化问题，能够通过配置接入不同数据源，但是不能直接利用到数据源至模型平台的数据传输上，且数据源扩展接口存在复杂且不易维护的问题。flink存在体积大，部署成本高的问题。

发明内容

本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。

为此，本申请实施例的一个目的在于提供数据处理方法、装置、设备及介质。

为实现上述目的，本申请实施例的第一方面提供了一种数据处理方法，包括：

接收数据处理通知，根据所述数据处理通知，从路由表确定目标外部数据源和目标模型客户端；

调用预定义的重建接口重建所述目标模型客户端的索引模型；

从所述目标外部数据源获取第一数据；

将所述第一数据进行数据转换，得到与所述索引模型对应的第二数据；

调用预定义的添加接口将所述第二数据添加至所述索引模型。

在一些实施例中，所述将所述第一数据进行数据转换，得到与所述索引模型对应的第二数据，包括：

从多个数据转换器中确定与所述目标外部数据源和所述目标模型客户端对应的目标数据转换器；

通过所述目标数据转换器，将所述第一数据进行数据转换，得到与所述索引模型对应的第二数据。

在一些实施例中，所述接收数据处理通知，根据所述数据处理通知，从路由表确定目标外部数据源和目标模型客户端，包括：

接收来自外部管理模块的数据处理通知，所述数据处理通知包括业务标识和业务内多模型区隔标识；

根据所述业务标识和所述业务内多模型区隔标识，从路由表中由外部管理模块预配置的路由确定目标外部数据源和目标模型客户端。

在一些实施例中，所述从所述目标外部数据源获取第一数据，包括：

确定与所述目标外部数据源对应的数据源接口适配器；

向所述目标外部数据源发送数据获取指令；

通过与所述目标外部数据源对应的数据源接口适配器接收来自所述目标外部数据源的第一数据。

在一些实施例中，所述接收数据处理通知，根据所述数据处理通知，从路由表确定目标外部数据源和目标模型客户端，包括：

通过与外部数据源对应的数据源接口适配器接收来自外部数据源的数据处理通知；

根据所述数据处理通知，将所述外部数据源确定为目标外部数据源，并从路由表确定目标模型客户端。