[发明专利]一种基于业务隔离原理的数据采集设备统一接入系统

摘要

本发明提供一种基于业务隔离原理的数据采集设备统一接入系统，包括配置初始化模块、线程池初始化模块、通讯服务模块、隔离模块、解析服务模块和缓存模块。本发明理论上不依赖于行业性质、不依赖于具体数据采集设备类型、不依赖于数据采集设备制造厂家，一般的，任何支持目前主流数据软件通讯协议和国际通用数据交互格式的数据采集设备都可以接入，同时本发明减少了数据采集设备接入时的工作和后期维护的巨大成本，技术可靠，操作方便。本发明不仅适用于交通、银行、运营商等传统行业，还适用于O2O、电子商务等新型互联网行业。

主权项

1.一种基于业务隔离原理的数据采集设备统一接入系统，其特征在于：该系统包括配置初始化模块、线程池初始化模块、通讯服务模块、隔离模块、解析服务模块和缓存模块；所述配置初始化模块，用于在系统启动时将不同使用场景的初始配置信息加载到系统中；所述线程池初始化模块，用于以单线程的方式直接启动各个服务，包括NETTY服务、Web Service服务、HTTP服务和文件服务，还用于以小于一定阈值的容量启动通讯线程池和解析线程池；所述通讯服务模块，用于响应采集设备的数据接入请求，当通讯线程池中存在空闲线程时，直接分配线程响应数据接入请求，当通讯线程池中不存在空闲线程时，若通讯线程池的容量尚未达到预设阈值，则增加通讯线程池的容量，再分配线程响应数据接入请求，若通讯线程池的容量已达到预设阈值，则控制数据接入请求进入线程排队队列以等待分配线程；所述隔离模块，用于隔离通讯服务模块与解析服务模块，当通讯服务模块的工作结束后，临时存储通讯服务模块接入的数据，并在一定的预设条件下，启动解析服务模块；所述预设条件有三类：a、基于时间的条件，指的是解析服务按照系统配置所设置的时间规则启动；b、基于事件的条件，指的是解析服务在数据达到一定量级、数据突发式增长、数据突然出现较多异常等事件情况下启动；c、两者综合的条件，指的是解析服务在基于时间的条件和基于事件的条件满足其一或者都满足的综合条件下启动；所述解析服务模块，用于响应数据解析请求，当解析线程池中存在空闲线程时，直接分配线程响应数据解析请求，当解析线程池中不存在空闲线程时，若解析线程池的容量尚未达到预设阈值，则增加解析线程池的容量，再分配线程响应数据解析请求，若解析线程池的容量已达到预设阈值，则控制数据解析请求进入线程排队队列以等待分配线程；所述缓存模块，用于通过两级数据缓存来完成对解析服务模块解析的数据的存储，第一级数据缓存完成对数据的临时缓存，与实际数据解析过程同步，第二级数据缓存完成对数据的最终缓存并将数据存储到数据库，与实际数据解析过程异步。