|
钻瓜专利网为您找到相关结果 14195453个,建议您 升级VIP下载更多相关专利
- [发明专利]Notes数据结构化的系统及方法-CN200710200683.5无效
-
彭治
-
鸿富锦精密工业(深圳)有限公司;鸿海精密工业股份有限公司
-
2007-05-23
-
2008-11-26
-
G06F17/30
- 本发明提供一种Notes数据结构化的系统,其用于将录入到Domino服务器中的非结构化数据转换成结构化数据。该系统包括连接Domino服务器与应用系统层的数据转换服务器,该数据转换服务器包括:文档型数据接收模块,用于从Domino服务器接收非结构化数据;数据类型转换模块,用于将上述接收的数据进行数据类型的转换以使建立起来的数据结构中的数据符合关系数据库的标准;数据结构化模块,用于将上述转换过类型的数据取出,将取得的数据进行封装,产生一个一个独立的对象,建立所需要的数据结构;输出模块,用于将该结构化数据输出到应用系统层。本发明还提供一种Notes数据结构化的方法。本发明简化Notes数据结构化系统,减少了录入数据流动的距离及转换次数,因此降低了数据失真的机率。
- notes数据结构系统方法
- [发明专利]一种数据ETL系统及方法-CN201910158544.3在审
-
朱亮;徐滢
-
成都品果科技有限公司
-
2019-03-01
-
2019-06-04
-
G06F16/25
- 本发明公开一种数据ETL系统,包括:Spark调度模块,数据ETL模块,Zeppelin Notebook模块,Airflow调度模块;所述Spark调度模块用于读取落地数据,将所述落地数据结构化,并将结构化的落地数据灌入所述数据ETL模块;所述数据ETL模块用于对接收的所述结构化的落地数据进行ETL操作,将ETL操作结果转换为Json数据,并将所述Json数据回写给所述Spark调度模块;所述Spark调度模块还用于将接收的所述Json数据结构化,获取结构化的Json数据;所述ZeppelinNotebook模块用于将所述结构化的Json数据进行加总处理,获取处理后数据,将所述处理后数据导入AWS Redshift中;所述Airflow调度模块用于对所述Spark调度模块、所述数据ETL模块、所述ZeppelinNotebook模块进行流程调度。本发明提供的技术方案,能够自动完成数据ETL过程,提高工作效率。
- 调度模块结构化落地数据结构化读取工作效率结果转换流程调度自动完成灌入回写加总
|