“数据源类型”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3161582个，建议您升级VIP下载更多相关专利

[发明专利]一种数据处理方法、装置、电子设备和存储介质-CN201911319414.X有效
发明人：王学兵;杜英豪 -专利权人：北京百度网讯科技有限公司
申请日： 2019-12-19 - 公布日： 2021-02-09 - 主分类号： G06F16/25 文献下载
摘要：本申请公开了一种数据处理方法、装置、电子设备和存储介质，涉及数据处理领域。具体实现方案为：统一管理平台响应于目标内容提供方的数据源接入请求，获取与数据源接入请求匹配的接入类型和接入参数，统一管理平台预先连接多个内容提供方；统一管理平台在多个类型的数据源接入模块中，获取与接入类型匹配的目标数据源接入模块；统一管理平台根据接入参数触发目标数据源接入模块，接入与数据源接入请求匹配的目标数据源；统一管理平台从目标数据源中获取目标数据，并将目标数据存储于与所述目标内容提供方匹配的存储空间中。本申请的技术方案，可以实现不同内容提供方的数据源由一个统一管理平台进行管理和维护。
一种数据处理方法装置电子设备存储介质

[发明专利]一种用于审计平台的数据资产管理方法-CN201910308731.5在审
发明人：聂蛟 -专利权人：成都市审计局;成都智审数据有限公司
申请日： 2019-04-17 - 公布日： 2019-07-19 - 主分类号： G06F16/904 文献下载
摘要：本发明公开了一种用于审计平台的数据资产管理方法，其包括以下步骤：S1：对数据源的属性信息进行注册，属性信息包括数据源类型、连接数据源的驱动协议、数据源的访问密码；S2：将数据源的属性信息保存到数据库中，并根据数据源的属性信息进行数据采集，将采集到的数据保存到数据库中；S3：定期检测各数据源的动态，并将各数据源对应的数据源类型、来源、数据规模和增量变化情况以可视化图表方式展现；S4：设置各数据源的数据权限等级，不同的数据权限等级对应不同的数据使用权限；S5：将各数据源的数据权限等级、属性信息组成数据资产目录。本发明能够保障数据共享安全，帮助数据资产所有者从全局视角审查整体数据状况。
数据源属性信息数据权限数据资产数据源类型数据库帮助数据等级对应定期检测访问密码连接数据全局视角数据保存数据采集数据共享数据规模数据使用图表方式增量变化整体数据审计可视化采集驱动权限保存管理审查资产安全

[发明专利]批量数据快速写入方法、系统和装置-CN202111576481.7在审
发明人：孙晓龙 -专利权人：苏州众言网络科技股份有限公司
申请日： 2021-12-22 - 公布日： 2022-04-08 - 主分类号： G06F16/25 文献下载
摘要：本申请公开了一种批量数据快速写入方法、系统和装置，本方法通过接收由消息中间件转发的批量数据，对所述批量数据进行数据清洗校验，得到目标数据源；基于预先定义的数据类型，对所述目标数据源进行分类处理得到所述目标数据源的数据类型；根据所述目标数据源的数据类型，构建对应的数据结构，根据所述数据结构，构建用于批量写入更新所述目标数据源的SQL语句；根据所述目标数据源的SQL语句集合，采用数据库提供的批量写入更新接口对所述目标数据源进行数据入库本申请解决相关技术中现有数据写入效率较低的技术问题，提高了数据写入的效率，且批量写入数据来源从文件切换到数据库的可行性更强。
批量数据快速写入方法系统装置

[发明专利]一种数据存储方法、装置、设备和存储介质-CN201910883658.4在审
发明人：林志强 -专利权人：北京国双科技有限公司
申请日： 2019-09-18 - 公布日： 2021-03-19 - 主分类号： G06F16/22 文献下载
摘要：本发明公开了一种数据存储方法、装置、设备和存储介质。该方法包括：从目标数据源采集数据；根据所述数据中的字段信息，确定所述字段信息映射的字段类型；在与所述目标数据源对应的数据库表中，将所述数据存储到与所述字段类型对应的存储空间中。本发明通过为数据库表的存储空间设置不同的字段类型的方式，为具有不同数据结构的数据源提供统一的存储结构，避免了为具有不同数据结构的数据源分别设置不同的数据存储结构，降低了不同目标数据源的存储复杂度，简化了数据存储步骤，提高了数据存储效率，不同数据结构的目标数据源可以复用本发明的入库逻辑，方便不同数据结构的目标数据源的数据统一入库。
一种数据存储方法装置设备介质

[发明专利]分布式实时数据IOT采集系统及方法-CN201811038818.7有效
发明人：陈伟;郎海亮 -专利权人：北京奥技异科技发展有限公司
申请日： 2018-09-06 - 公布日： 2021-01-19 - 主分类号： H04L12/26 文献下载
摘要：本发明提供一种分布式实时数据IOT采集系统和方法，系统至少包括：数据源采样接口模块，其根据接入数据的目标测点的数据情况，设置对应的参数类型，依据前置通信规约类型选择通信规约库中相应的数据源通道，接收一种或多种不同类型的数据源，配置为监视数据通道的通信过程，将监听结果反馈给数据管理中心模块；数据管理中心模块，配置为接入数据源采样接口模块获取的数据，存入其内置数据库中，对接入数据源采样接口模块的各测点、通道状况、采样频率、数据质量的管理；数据发布模块，根据数据管理中心模块中待发布数据的数据源通道类型选择相应的发布器类型，发布到外部数据库或外部系统；以及访问接口模块，提供与外部应用模块的通信接口。
分布式实时数据 iot 采集系统方法

[发明专利]一种组件和模板的可视化开发方法及系统-CN201610165157.9在审
发明人：邓溪连 -专利权人：中兴通讯股份有限公司
申请日： 2016-03-22 - 公布日： 2017-09-29 - 主分类号： G06F9/44 文献下载
摘要：该方法包括注册数据源；创建组件，并根据数据源，配置组件的属性；根据业务需要，注册对应的模板类型，并在模板类型中加载业务所需的组件，设置模板类型对应的代码模板；注册模板，并选择该模板的模板类型和数据源，根据该模板的模板类型、数据源以及代码模板，生成对应的源码。
一种组件模板可视化开发方法系统

[发明专利]数据集群化处理的方法、装置及设备-CN201710263207.1有效
发明人：王卉;雷中杰;樊炼;林洁;胡莉;李林;许佳;徐庆;张欣;黄璐;薛超 -专利权人：中国移动通信集团湖北有限公司;中国移动通信集团公司
申请日： 2017-04-20 - 公布日： 2021-04-23 - 主分类号： G06F9/50 文献下载
摘要：本发明实施例公开了一种数据集群化处理的方法、装置及设备。该方法包括：接收到数据源的访问请求，基于数据源的数据特性确定数据源对应的加锁类型；加锁类型为分布式锁，根据数据源的存储信息分配处理数据源的分布式服务器和处理数据源的应用进程；依据分布式服务器的加锁目录检测应用进程当前是否空闲；应用进程当前空闲，通过应用进程对数据源进行处理。本发明实施例能够降低在账务数据管理、调整，程序发布等方面的复杂度。
数据集群处理方法装置设备

[发明专利]一种ETL数据迁移方法和系统-CN201911221306.9有效
发明人：袁松彪;梅纲 -专利权人：武汉达梦数据库股份有限公司
申请日： 2019-12-03 - 公布日： 2023-04-14 - 主分类号： G06F16/25 文献下载
摘要：本发明涉及数据管理领域，具体涉及一种ETL数据迁移方法和系统，其中ETL数据迁移方法包含以下步骤：建立抽象文件源层，抽象文件源层加载预设数据源类型列表中的抽取组件，并加载所有预设目的源类型列表中的装载组件；获取待迁移对象的数据源的类型，和待迁移对象目的源的类型；抽象文件源层调用相应的抽取组件建立与数据源的连接；抽象文件源层调用相应的装载组件建立与目的源的连接；抽取组件通过与数据源的连接从数据源处获取待迁移对象，装载组件通过与目的源的连接将待迁移对象装载至目的源。
一种 etl 数据迁移方法系统

[发明专利]数据访问方法、装置、设备和介质-CN201910852681.7在审
发明人：聂砂;舒展;邢磊;赵筝;杨美红;贺潇铮 -专利权人：中国建设银行股份有限公司;建信金融科技有限责任公司
申请日： 2019-09-10 - 公布日： 2019-12-10 - 主分类号： G06F16/25 文献下载
摘要：本发明实施例公开了一种数据访问方法、装置、设备和介质。所述方法包括：从客户端获取待访问的目标数据集标识，并向服务器发送目标数据集标识，供服务器根据目标数据集标识，确定目标数据集所属的目标数据源类型、目标数据源配置信息以及目标数据集属性信息；根据目标数据源类型和目标数据源配置信息，构建目标数据源的连接信息；通过构建的目标数据源的连接信息，根据目标数据集属性信息，从目标数据源中获取目标数据集。本发明实施例实现了访问不同数据集时，无需针对不同数据集适配访问方式，以及针对不同数据集所属数据源适配连接方式，减少了基于数据集样本的模型构建的构建周期以及成本。
目标数据源目标数据数据集构建连接信息配置信息属性信息服务器发送访问方式获取目标模型构建适配连接数据访问所属数据客户端适配服务器样本访问

[发明专利]订单处理方法、装置、电子设备及存储介质-CN202011635962.6在审
发明人：陆建 -专利权人：苏州天聚人合科技有限公司
申请日： 2020-12-31 - 公布日： 2021-04-06 - 主分类号： G06Q30/06 文献下载
摘要：本发明实施例公开了一种订单处理方法、装置、电子设备及存储介质，所述方法包括：接收订单信息，基于订单信息确定订单业务类型，基于订单业务类型确定初始数据源；将订单信息发送至所述初始数据源，并接收初始数据源的回调信息；当回调信息为订单失败信息时，基于回调信息和订单业务类型确定更新数据源，并将订单信息发送至更新数据源；当接收的回调信息为订单成功信息时，基于回调信息发送订单完成信息至用户终端。本发明实施例的技术方案实现在大量订单信息进行处理时，当前数据源的订单处理失败时，可以及时的更换数据源，以提高订单处理的质量。
订单处理方法装置电子设备存储介质

[发明专利]一种数据处理方法、装置、设备和存储介质-CN201910778570.6在审
发明人：火一莽;张立志;万月亮 -专利权人：北京锐安科技有限公司
申请日： 2019-08-22 - 公布日： 2019-11-19 - 主分类号： G06F16/90 文献下载
摘要：本发明公开了一种数据处理的方法、装置、设备和存储介质。该方法包括：获取与目标任务对应的数据接入规则，数据接入规则包括任务信息和数据处理规则，任务信息中包括至少一项待处理的数据源；根据任务信息，判断待处理的数据源的类型，并调用与每个数据源的类型分别对应的数据源读取类，读取至少一项数据源；将读取得到的数据写入消息队列中，从消息队列中获取数据，并根据数据处理规则对数据进行处理。使用本发明实施例的技术方案，当增加新的数据源时，只需添加新的数据源读取类，数据处理部分是通用的，这样就使数据源扩展代价变低，可以提高性能。
数据源读取任务信息数据处理规则数据接入消息队列数据处理存储介质获取数据通用的调用写入

[发明专利]日志数据采集方法、装置、计算机设备及可读存储介质-CN202211382772.7在审
发明人：胡丽苗 -专利权人：上海金电网安科技有限公司
申请日： 2022-11-07 - 公布日： 2023-04-04 - 主分类号： H04L41/069 文献下载
摘要：本申请涉及一种日志数据采集方法、装置、计算机设备及可读存储介质。所述方法包括：确定待采集日志数据的日志源类型，所述日志源类型包括端口数据源或寻址数据源；若所述日志源类型为端口数据源，则将所述待采集日志数据的日志类型与第一预设日志类型进行匹配，并采集匹配成功的第一日志数据；若所述日志源类型为寻址数据源，则确定所述待采集日志数据的预设位置信息，并将所述待采集日志数据的日志类型与第二预设日志类型进行匹配，基于所述预设位置信息采集匹配成功的第二日志数据。本申请提供的日志数据采集方法提高了所采集日志数据的可用性，缩减了采集日志数据的数据量，释放了大数据处理系统的运算资源，从整体上提高了数据处理的效率。
日志数据采集方法装置计算机设备可读存储介质

[发明专利]一种数据分析方法、装置、终端及存储介质-CN201910745745.3在审
发明人：孟令新 -专利权人：珠海格力电器股份有限公司
申请日： 2019-08-13 - 公布日： 2020-01-17 - 主分类号： G06F16/2458 文献下载
摘要：本发明实施例提出的一种数据分析方法、装置、终端及存储介质，在获取需要分析的目标数据之前先确定目标数据源，目标数据源的类型至少为一种，根据关键词从目标数据源中获取待分析的目标数据，然后获取与目标数据源对应的分析项，进而根据分析项对从各目标数据源中获取目标数据进行分析，得到分析结果。通过本方案进行数据分析时，用户可以根据自身需求自行确定目标数据源的类型和与目标数据源对应的分析项，从而实现根据实时的需求定制需要的分析任务。
目标数据源分析目标数据数据分析存储介质获取目标需求定制终端

[发明专利]一种多数据源服务化处理方法、装置及存储介质-CN202111233876.7在审
发明人：梁明杰;周东;林东;李天福;吴刚;申齐安 -专利权人：广西贵港市中科曙光云计算有限公司;广西中科曙光云计算有限公司
申请日： 2021-10-22 - 公布日： 2022-02-18 - 主分类号： G06F16/242 文献下载
摘要：本发明公开了一种多数据源服务化处理方法、装置及存储介质，其中方法包括：获取多数据源，多数据源包括关系型数据源和表格类型数据源；提取表格类型数据源中表格文件的元数据信息，读取元数据信息中的表格数据，并生成表格数据对应的第一查询接口，通过调用第一查询接口访问表格数据；根据查询信息和限制查询字段生成关系数据库的第二查询接口，查询用户调用第二查询接口时，解析查询信息和限制查询字段得到自适应关系型数据源的查询指令；根据查询指令获取关系型数据源的查询数据本发明实施例通过对不同的数据源生成不同的查询接口，以获取查询数据，能够有效提供数据获取的效率。
一种多数服务处理方法装置存储介质

[发明专利]一种数据处理方法及装置-CN201911192171.8在审
发明人：刘冰松 -专利权人：京东数字科技控股有限公司
申请日： 2019-11-28 - 公布日： 2020-05-15 - 主分类号： G06F16/25 文献下载
摘要：本申请涉及一种数据处理方法及装置，包括：获取需要进行数据读取的数据源；确定所述数据源的数据类型；根据所述数据类型，确定适配的读取方式；根据所述适配的读取方式对所述数据源进行读取，得到读取数据；将所述读取数据转换为用于保存的待存储数据；将所述待存储数据写入数据库中。本申请实施例提供的上述技术方案与现有技术相比具有如下优点：对各种类型的数据都能匹配得到对应的处理流程、读取方式以及转换方式；进而无需通过不同的方法对不同数据类型的数据源进行处理，有效简化实现读写方式；进而达到了统一实现针对不同数据源的数据归集
一种数据处理方法装置