[发明专利]一种野外科学观测数据表头表尾自动检测入库的方法

说明书

本发明公开了一种野外科学观测数据表头表尾自动检测入库的方法，它涉及软件技术领域。其步骤为：野外科学观测数据表头表尾分隔符在线快速自动检测；海量野外科学观测数据记录实体在线快速整合与入库；野外科学观测数据治理与多模式可视化。本发明实现自动检测观测数据表头表尾、自动提取数据记录实体及海量观测数据快速整合入库，具有自动检测表头表尾、支持海量表格快速入库的优势，满足野外科学观测数据表头表尾自动检测、数据实体自动提取与快速入库、多样化展示等需求，应用前景广阔。

技术领域

本发明涉及的是软件技术领域，具体涉及一种野外科学观测数据表头表尾自动检测入库的方法。

背景技术

科学数据作为科技创新、经济发展和相关决策活动不可或缺的科技资源，被公认为继物质和能量之后的第三类资源，是国家重要的战略资源。在大数据时代，对海量科学数据的全面掌握和深入挖掘分析正是当前许多前沿科学领域研究取得重大发现和突破的关键依托基础。随着我国野外科学观测事业的快速发展，野外科学观测数据有力支撑了我国地球系统科学、气象水文、环境保护和生态文明等建设。

野外科学观测数据的海量持续增长，对野外科学观测数据的接收、提取、保存、分析和应用提出了更高的要求。野外科学观测数据具有持续时间长、类型多样、海量快速增长等特点。其原始获取的数据主要存储形式是Excel格式、csv格式和txt格式等文本型表格数据。其中，Excel是非常流行的表格数据计算机处理工具，操作简单，支持通过函数进行处理，是一种应用广泛、能够很好提升工作效率的表格数据处理工具。

然而，随着互联网的发展，传统的以Excel为代表的个人计算机表格型数据处理工具难以完全满足人们对野外科学观测数据日益增长的多样化、在线化之处理需求，诸如野外科学观测数据处理时遇到的表头表尾如何自动检测、海量数据如何规范整合与快速整合入库等难点一直困扰着人们。

现有野外科学观测数据的原始数据结构如图1所示，其合并入库处理流程如图2，常见的野外科学观测数据表头表尾提取技术方面，需要人为事先分析判断数据构成特点、表头表尾所在位置、分隔符等信息，再针对每类表格数据开发特定的数据读取程序，甚至是手工处理表头表尾等内容。在野外科学观测数据入库方面，需要人为分析判断字段名称、字段类型，海量数据入库处理效率很低。具体地，现有的野外科学观测数据表头表尾、记录实体提取与海量数据入库展示技术主要存在以下问题：

(1)表头表尾所在位置及分隔符难以在线自动检测。在进行多个野外科学观测数据文件合并、关联处理及关联查询等操作时，首先需要判断多个数据文件各自的表头、表尾、记录行与分隔符等信息。目前通常由作业人员人工判断各个表格数据的表头、表尾、记录行与分隔符等信息，再通过人工或编程方式提取记录内容并进行后续之合并、关联处理及关联查询等操作。这种基于人工分析的编程或手工提取表头表尾的方法，存在手工处理易出错、编写的程序适用性差、遇到新的数据结构需要重新编程、处理费时费力等问题。

(2)海量野外科学观测数据难以在线快速整合入库。随着数字时代的到来，如今人们需要处理的野外科学观测数据的数据量呈几何级数增长，有的长时间序列观测数据可达到上千万甚至上亿条记录。Excel由于基于文件的设计思路，无法达到数据库系统的性能，在处理大量数据时常常会遇到严重的问题。比如，Excel表格一旦读取超过上百万条的记录时就会非常缓慢，此时若要进行函数操作则会使电脑罢工，更无法开展更深层次的数据分析操作。

为了解决野外科学观测数据提取处理应用中的诸多痛点难点，且目前业内还没有一种针对野外科学观测数据表头表尾自动检测的方法和平台，开发一种野外科学观测数据表头表尾自动检测入库的方法尤为必要。

发明内容

针对现有技术上存在的不足，本发明目的是在于提供一种野外科学观测数据表头表尾自动检测入库的方法，实现自动检测观测数据表头表尾、自动提取数据记录实体及海量观测数据快速整合入库，具有自动检测表头表尾、支持海量表格快速入库的优势，满足野外科学观测数据表头表尾自动检测、数据实体自动提取与快速入库、多样化展示等需求，易于推广使用。