[发明专利]一种多输入输出的消息格式转换方法及装置

说明书

本发明提供了一种多输入输出的消息格式转换方法及装置，包括：建立转换任务中同一消息的输入类别与输出类别之间建立映射关系；将各消息的转换结果的映射关系传送至对应的输出类别中。本申请实现了对多输入TOPIC与多输出TOPIC的参数化订制并可根据转换规则对日志内容进行筛选和提取，同时还可以随时查看任务状态。

技术领域

本申请属于数据处理技术领域，具体地讲，涉及一种多输入输出的消息格式转换方法及装置。

背景技术

目前，针对大数据处理出现了一系列大数据平台及框架方便开发者使用，其中包括Hadoop、KAFKA消息订阅系统、flume实时采集框架等，这些系统和框架对基于流式数据的处理都具有非常好的效果，同时也极大地降低了分布式计算的开发难度。

现有的KAFKA可以通过订阅不同TOPIC(类型)来消费不同的消息源，但是不能对消息TOPIC进行归一化和过滤处理，而原始的日志内容对于后续的计算和分析，会严重影响流式计算的效率。除此之外，当有多个输入源TOPIC时，即当我们采集多个日志时，如果彼此之间的过滤规则相同，KAFKA也无法自动识别生产转换后日志具体的输出TOPIC，需要在任务启动时提前设定好输出TOPIC，当开发人员对TOPIC的内容进行消费并做转换处理后并做对应的输出，需要对每个不同的输入输出TOPIC重新启动对应的转换任务，这无疑造成了服务器调度的巨大开销，需要维护每个转换任务的调度资源，同时还要监控所有的转换任务，以免转换任务被误停止或宕机后的重启工作，过多的任务显然会对服务器的响应及处理产生延时。

发明内容

本申请提供了一种多输入输出的消息格式转换方法及装置，以至少解决现有技术中启动一个转换日志格式任务无法采集多个日志且一个转换任务的条件不能适用于不同的输入和输出源的问题。

根据本申请的一个方面，提供了一种多输入输出的消息格式转换方法，包括：

建立转换任务中同一消息的输入类别与输出类别之间建立映射关系；

将各消息的转换结果的映射关系传送至对应的输出类别中。

在一实施例中，建立转换任务中同一消息的输入类别与输出类别之间建立映射关系，包括：

提取转换任务中各消息的关键字信息，并根据关键字信息定义输出类别；消息中包含输入类别；

根据关键字信息建立输入类别与输出类别之间建立映射关系。

在一实施例中，提取转换任务中各消息的关键字信息，包括：

利用消息中的分隔符对消息进行分隔后提取数据信息作为关键字信息；或

利用正则表达式提取消息的关键字信息；或

根据消息中定长字段的字符串长度来提取关键字信息。

在一实施例中，一种多输入输出的消息格式转换方法还包括：

创建转换任务；

为转换任务随机分配转换规则，转换任务与转换规则一一对应。

在一实施例中，一种多输入输出的消息格式转换方法还包括：

监测转换任务的工作状态，当转换任务停止时重启转换任务。

根据本申请的另一个方面，还提供了一种多输入输出的消息格式转换装置，包括：

映射建立单元，用于建立转换任务中同一消息的输入类别与输出类别之间建立映射关系；

传送单元，用于将各消息的转换结果的映射关系传送至对应的输出类别中。

在一实施例中，映射建立单元包括：