[发明专利]一种基于反射机制的行情dbf文件生成方法

说明书

本发明提供了一种基于反射机制的行情dbf文件生成方法，涉及行情数据处理技术领域，该方法包括以下的步骤：S1、启动主线程，读取配置文件中的元数据，元数据包括dbf每个字段的配置以及kafka集群行情消息主题的列表；S2、主线程连接到kafka集群，根据所述列表，订阅多行情主题的数据，接收kafka集群推送的实时行情消息；S3、将所述实时行情消息解析为对应的pb行情消息，获取每个dbf字段的值，更新内部dbf缓存记录；S4、启动定时线程，将dbf缓存记录刷新至磁盘文件，生成dbf文件,实现了支持字段顺序调整，以及新增和/或删除字段，通过pb反射机制获取每个字段的数据，并格式化至记录缓冲区，将dbf缓存记录刷新至磁盘文件，生成dbf文件。

技术领域

本发明涉及行情数据处理技术领域，具体的，本发明涉及一种基于反射机制的行情dbf文件生成方法。

背景技术

在股票市场中，生成dbf文件主要是基于行情解码服务系统写入kafka流式系统中的实时行情信息以及盘口信息，将证券代码、开盘价、昨收价、盘口买卖价格和数量等数据写入到指定的dbf文件，交易柜台通过读取该dbf文件，将各字段展示在交易界面供交易员下单参考使用。

现有的dbf文件生成方式需要针对每个交易所的行情消息格式进行针对性解析和处理，而且dbf文件字段之间的顺序必须提前确定，一旦出现字段顺序变化或者新增和/或删除字段时都需要修改dbf文件生成服务的代码，重新编译和部署，不够灵活，无法满足交易需求，影响市场交易。

发明内容

为了克服现有技术的不足，本发明提供了一种基于反射机制的行情dbf文件生成方法，以解决上述的技术问题。

本发明解决其技术问题所采用的技术方法是：一种基于反射机制的行情dbf文件生成方法，其改进之处在于：包括以下的步骤：S1、启动主线程，读取配置文件中的元数据，元数据包括dbf每个字段的配置以及kafka集群行情消息主题的列表；S2、主线程连接到kafka集群，根据所述列表，订阅多行情主题的数据，接收kafka集群推送的实时行情消息；S3、将所述实时行情消息解析为对应的pb行情消息，获取每个dbf字段的值，更新内部dbf缓存记录，pb即protobuf；S4、启动定时线程，将dbf缓存记录刷新至磁盘文件，生成dbf文件。

在上述方法中，所述步骤S3，包括以下的步骤：

S31、根据所述列表，查询得到写入kafka集群的pb消息名称；

S32、通过pb的反射机制动态生成空的消息对象，解析每一条kafka消息数据，得到最新的行情pb消息对象；

S33、从所述行情pb消息对象中获取key_field_name字段的值，得到该条行情消息的证券代码，key_field_name即证券代码字段在pb消息中的名称，通过该证券代码从消息记录缓存获取对应的dbf消息记录，当消息记录缓存中存在该证券代码时，则返回dbf消息记录，当消息记录缓存中不存在该证券代码时，则创建一条新的dbf消息记录；

S34、循环处理dbf_fields中的每一个字段，dbf_fields即dbf字段，获取每一个字段在pb消息中映射的数据，当该数据是字符串类型时，则直接按照指定长度拷贝到dbf缓冲区对应偏移量，当该数据是整型时，则按照price_base获取真实的浮点数据，再格式化为字符串，并输出到dbf缓存区中，price_base为价格基数。

在上述方法中，所述步骤S4，包括以下的步骤：

S41、定时线程在开盘前访问外部接口获取该市场的交易日历，得到该市场的交易日以及交易时间段；

S42、删除dbf缓存记录中上一天的所有遗留数据，记录最新交易日期；

S43、定时将dbf缓存记录中的所有dbf记录按照dbf文件格式写入磁盘文件，生成dbf文件。