[发明专利]非结构数据处理系统及其处理方法

说明书

技术领域

本发明涉及一种数据处理系统，具体为一种非结构数据处理系统及其处理方法。

背景技术

相对于结构数据(即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据)而言，不方便用数据库二维逻辑表来表现的数据即称为非结构数据，包括所有格式的办公文档、文本、图片、标准通用标记语言下的子集XML、HTML、各类报表、图像和音频/视频信息等等。

非结构数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构数据(如数字、符号等信息)而且更适合处理非结构数据(全文文本、图象、声音、影视、超媒体等信息)。

非结构WEB数据库主要是针对非结构数据而产生的，与以往流行的关系数据库相比，其最大区别在于它突破了关系数据库结构定义不易改变和数据定长的限制，支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理，在处理连续信息(包括全文信息)和非结构信息(包括各种多媒体信息)中有着传统关系型数据库所无法比拟的优势。

结构数据即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。

所谓非结构数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

所谓半结构数据，就是介于完全结构数据(如关系型数据库、面向对象数据库中的数据)和完全无结构的数据(如声音、图像文件等)之间的数据，HTML文档就属于半结构数据。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。

目前传统的数据往往多为结构数据和半结构数据，是原始数据的抽象化，类型较为单一。传统的数据库管理系统不能满足云数据库管理系统的需求，集中式的架构大部分是40年前设计的，不能有效的分布式的存储在数据中心之中。

随着网络技术的发展，特别是Internet和Intranet技术的飞快发展，使得非结构数据的数量日趋增大。因而，数据发展进入基于网络应用的非结构数据时代。如今，这种迅猛增长的从不使用的数据消耗着复杂而昂贵的一级存储的存储容量，非结构数据储存更为复杂，涉及的领域较多，规模又很大，处理起来也更为不易，还会产生很多无用信息，就需要非结构数据处理系统更有效快速的筛选和处理具有潜在价值的不同类型的文件。

发明内容

针对现有技术中的上述不足，本发明提供一种可对传感器采集的数据量分析，也能对图像、图形、视频模型等非结构智能模型分析处理并能够使非结构数据被快速提取筛选出用的信息，并对信息进行有效的处理并上传云端存储的非结构数据处理系统及其处理方法。

为实现以上技术目的,本发明的技术方案是:一种非结构数据处理系统，传感器信号采集模块、非结构数据采集模块、非结构数据采集卡和数据传输端口，所述传感器信号采集模块、非结构数据采集模块、非结构数据采集卡和数据传输端口依次连接，所述非结构数据采集模块与非结构数据采集卡信号连接，所述非结构数据采集卡包括电源模块、处理器模块、存储模块和I/O接口模块，所述电源模块分别与处理器模块、存储模块和I/O接口模块电连接，所述处理器模块、存储模块和IO接口模块依次信号连接，所述非结构数据采集模块与非结构数据采集卡信号连接是指非结构数据采集模块与存储模块连接。

作为优选，非结构数据采集模块为普通相机或智能相机。

作为优选，所述非结构化数据包括办公文档、文本、图像、XML或HTML各类报表和视频数据。

作为优选，所述数据传输端口为网络传输端口。

作为优选，所述处理器模块为FPGA或DSP图像数据处理器。

一种以非结构数据处理系统进行非结构数据处理方法，包括如下步骤：步骤一：通过传感器信号采集模块采集当前场所中的可感应信号；

步骤二：当非结构数据采集模块收到传感器信号采集模块的信号时会对对象进行图片或视频信息采集并进行筛选进而得到有效图像信息；

步骤三：将有效图像信息数据通过通讯协议转换成结构化数据；

步骤四：对经过转换的结构化数据通过I/O接口进行云端上传。

作为改进，所述步骤三中通过通讯协议转换成结构化数据后还会经过总线接口通信传输，组态下载数据，组态执行数据，数据经过加解密的数据安全保护操作；

作为改进，所述步骤四中对经过转换的结构化数据还可通过AD/DA接口进行云端上传。