[发明专利]非结构化数据管理系统

说明书

技术领域

本发明涉及一种数据管理系统，特别涉及一种非结构化数据的管理系统。

背景技术

随着经济全球化的发展趋势，出现了一大批跨地区、跨国界的大型企业集团。这些企业集团的分支机构分布于世界各地，而各地分支机构需要共享信息以联合作业。因此，如何对其信息进行管控，以实现企业资源的共享，已成为该类企业营运的一个重要组成部分。而信息技术的发展，使得跨机构、跨地域的数据访问与协作成为可能。目前，为了提高数据访问的效率以及减小故障的损失，企业一般采用分布式数据管理系统。分布式数据管理系统是指物理空间分散、逻辑上通过网络连接在一起的数据存储、管理系统，在该系统中，用户能像访问本地存储区的数据一样使用远程存储区的数据。

而在企业信息化建设中，除了结构数据之外，还出现了大量的非结构化数据。Web环境中出现的海量HTML与XML等格式数据，多媒体数据如声音、影片、图形等，企业信息化建设中合同文本、电子表格、简报档案、电子邮件数据、产品设计文档等，都是没有明确结构约束的非结构化数据。据研究报告显示，非结构化数据占全部数据总量的80％以上。非结构化数据在政府、企业决策中的重大应用需求中日趋重要。

面对如此纷繁复杂的分布式结构，面对形式各异、信息量庞大的非结构化数据，如何能对分散的非结构化数据进行统一的集中管理，结束分散管理局面，如何能实现新增业务快速接入统一管理系统，以及如何满足行业企业系统的高并发、实时性和异地共享等需求，这些都是各个行业企业急需解决的技术问题。

此外，非结构化数据隶属于外围系统业务，这些数据随业务生命周期的发展，利用频率会逐渐下降；为了合理利用资源，同时保证在线业务数据的访问效率，需要将非结构化数据定义全生命周期：在线、近线、离线。对于不同生命周期的非结构化数据采用不同的数据访问以及数据备份策略。

发明内容

本发明的目的在于克服现有技术中的不足，提出一种非结构化数据管理系统，按照统一的接口和规范，统一管理分布式结构中的非结构化数据，使得正确的数据在正确的时间到达正确的地点，并打破地域界限，实现异地数据资源实时共享和非结构化数据的全生命周期管理。

为了实现上述发明目的，本发明提出了一种非结构化数据管理系统，其包括：

前端控件模块，安装于外围系统的用户终端上，用于非结构化数据的采集、交互和展现；

协议封装模块，封装了所述用户终端与消息服务模块、文件传输模块的通信协议；

消息服务模块，用于多线程并发处理消息的接收、处理和反馈，具有消息线程数量及协议的动态配置与集群部署功能；

文件传输模块，用于内容传输；

批处理模块，读取所述外围系统批量生成的内容文件和元数据文件，通过多线程轮询方式，将所述内容文件和元数据文件存储到数据库模块中；

数据库模块，存储所述非结构化数据，其中包括所述批处理模块传输的所述内容文件和元数据文件，并为所述消息服务模块提供内容操作。

优选地，所述各个模块之间的接口规范以及数据规范被预先规定。

优选地，所述前端控件模块具有影像扫描，影像补录，影像修改，影像质检，批注，图像编辑，打印，导出，元数据编辑，同/异步上传下载功能。

优选地，所述前端控件模块是使用C#所实现的ActiveX标准控件。

优选地，所述协议封装模块使用SDK工具实施，通过调用所述SDK，执行影像内容的入库出库操作；所述SDK有java版和.net版，支持安装部署在AIX、Windows、Linux、HP四种操作系统。

优选地，所述消息服务模块能够经由所述前端控件模块或所述协议封装模块，与所述外围系统的用户终端进行交互，用于所述非结构化数据的操作，还能直接与所述外围系统的服务器终端进行交互，用于所述非结构化数据的操作。

优选地，所述消息服务模块使用java实现多个socket接口，所述多个socket接口是并发的。

优选地，所述文件传输模块能够经由所述前端控件模块或所述协议封装模块，与所述外围系统的用户终端进行交互，用于所述非结构化数据的操作，还能直接与所述外围系统的服务器终端进行交互，用于所述非结构化数据的操作；所述文件传输模块通过C语言实现。

优选地，所述批处理模块使用FTP工具将所述内容文件和元数据文件放置在指定目录下。

优选地，所述前端控件模块还具有条形码识别功能，可在文件扫描时同步识别文件上的条形码，自动将影像挂在条形码所对应的交易编号目录下，从而对影像自动归类。