[发明专利]一种面向异构数据库的海量组播数据入库实现方法

摘要

本发明提供了一种面向异构数据库的海量组播数据入库实现方法，按照一定周期和数量限定接收组播报文，将所需报文存入一个一级缓存数据文件中，以信号量触发对一级缓存数据文件的解析，将报文存入对应型号的二级缓存数据文件，对各型号建立对应的二级缓存数据文件存储目录及相关数据文件和控制文件；各型号入库线程根据信号量可同步触发入库操作，解析待入库二级缓存数据文件，将解析后的数据通过调用SQL*Loader和入库控制文件数据录入对应的数据库。本发明实现了海量组播数据实时、稳定地接收处理，实现了多目标数据库同步高效地入库，提升了实际应用中对海量组播数据的处理能力，保证了数据的完整性，提高了应用系统的效能。

主权项

一种面向异构数据库的海量组播数据入库实现方法，其特征在于，包括以下步骤：步骤一：启动组播报文接收线程，开始接收组播报文；步骤二：对接收到的组播报文首先进行完整性判断，如果不完整，则继续接收；如果完整，则对报文的类型进行检验，如果不是所需要的类型，丢弃该报文，继续接收新的组播报文；如果是所需的报文，将报文存入当前待写入的一级缓存数据文件中；当接收组播报文的时间达到接收周期或接收的组播报文数量达到指定数量时，记录已完成接收的一级数据文件数，关闭并重命名当前待写入的一级缓存数据文件，同时生成新的待写入的一级缓存数据文件；步骤三：判断是否有需要解析的一级缓存数据文件，若有，读取待解析一级缓存数据文件中的组播报文，开始预解析；否则，继续等待；预解析的方法是：解析组播报文报头中的信息来源字段，获取报文所属的型号，判断该型号对应的信息是否已在型号队列中，如果不在型号队列中，则获取该型号的信息并添加到型号队列中，并创建该型号对应的二级缓存数据文件存储目录及相关数据文件和控制文件，将组播报文写入二级缓存数据文件中，同时调用线程池，启动该型号入库线程；如果在型号队列中，直接将组播报文写入对应型号的二级缓存数据文件中；所述的型号对应的相关数据文件和控制文件包括：二级缓存数据文件、入库准备数据文件、入库控制文件和错误数据记录文件；当一个一级缓存数据文件预解析完成后，记录已完成解析的一级缓存数据文件数，关闭并重命名当前所有待写入二级缓存数据文件，更新型号队列中各型号对应的已完成保存二级缓存数据文件数，同时生成新的待写入二级缓存数据文件；步骤四：各型号入库线程判断对应型号的已完成保存二级缓存数据文件数是否大于已入库二级缓存数据文件数，如果否，说明没有新的需要入库的数据，继续等待；如果是，根据已入库二级缓存数据文件数获取下一个待入库二级缓存数据文件，解析该二级缓存数据文件，将解析后的数据保存至对应型号的入库准备数据文件中，解析完成后，调用数据加载工具SQL*Loader和入库控制文件将入库准备数据文件中的数据录入对应数据库，同时更新型号队列中对应型号的已入库二级缓存数据文件数。