“流水数据”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果2574139个，建议您升级VIP下载更多相关专利

[发明专利]一种数据处理系统、方法、装置、计算机设备及存储介质-CN202310961799.X在审
发明人：李国君;朱登成;汤维;刘飞;刘鹏 -专利权人：北京火山引擎科技有限公司
申请日： 2023-08-01 - 公布日： 2023-10-27 - 主分类号： G06F3/06 文献下载
摘要：本公开提供了一种数据处理系统、方法、装置、计算机设备及存储介质，该数据处理系统包括网卡模块、数据管理模块、存储加速模块以及硬盘；网卡模块用于接收网络传输的第一数据，并将第一数据存储至目标内存空间的第一内存空间；数据管理模块用于从第一内存空间读取第一数据，对第一数据进行拆分，得到多段第二数据；分别确定各段第二数据对应的校验信息，将各段第二数据的校验信息作为第三数据存储至目标内存空间的第二内存空间；基于针对第二数据以及第三数据的数据组装顺序，生成数据组装指令；存储加速模块用于控制硬盘从目标内存空间读取第二数据及第三数据，并基于读取的数据以及目标数据结构，在硬盘中写入第四数据。
一种数据处理系统方法装置计算机设备存储介质

[发明专利]基于大数据分析的采集噪声点挖掘方法及系统-CN202310717597.0在审
发明人：凌晓华;王晓宇;章熠辉 -专利权人：共享易付（广州）网络科技有限公司
申请日： 2023-06-15 - 公布日： 2023-10-27 - 主分类号： G06F16/2458 文献下载
摘要：本发明涉及数据噪声点挖掘技术领域，尤其涉及一种基于大数据分析的采集噪声点挖掘方法及系统。该方法包括以下步骤：对清洗大数据进行数据标准化处理，得到标准化大数据；对标准化大数据进行特征提取，得到大数据特征，计算特征矩阵中每个矩阵对应的矩阵方差值，确定特征矩阵中的异常矩阵，构建标准化大数据对应的数据散点图，计算数据散点图中每个数据点之间的距离值，得到数据点距离总值，确定数据散点图中的离散数据点；确定标准化大数据中的噪声数据，提取噪声数据对应的数据信号，计算数据信号对应的信号稀疏值，执行数据噪声点的噪声优化处理本发明在于提高基于大数据分析的采集噪声点挖掘的准确性。
基于数据分析采集噪声挖掘方法系统

[发明专利]外包数据完整性审计方法、装置、设备及介质-CN202311022225.2在审
发明人：黄琼;林展任;肖媚燕;李奇华;林宏源 -专利权人：华南农业大学
申请日： 2023-08-15 - 公布日： 2023-10-24 - 主分类号： H04L9/40 文献下载
摘要：本申请涉及外包数据完整性审计方法、装置、设备及介质，方法包括：数据拥有者上传文件数据之前，加密文件数据的明文数据块得到密文，根据系统全局参数、文件数据的哈希值、文件数据的密文计算确定文件数据的认证标签以及签名值，将文件数据的密文数据集、认证标签集以及签名值发送给云服务器进行存储；云存储服务器在存储数据之前，云服务器验证所述文件数据的密文数据集和认证标签集的关联性，在智能合约的协助下生成挑战数据集，计算文件数据的数据完整性证明，并保存文件数据的审计记录，数据拥有者根据所述数据完整性证明以及审计记录确定最终审计结果。本申请能够消除第三方审计员勾结云存储服务器管理员欺骗数据拥有者导致数据安全问题。
外包数据完整性审计方法装置设备介质

[发明专利]数据处理方法、装置、服务端及存储介质-CN202310745996.8在审
发明人：周玉坤;李正正 -专利权人：深信服科技股份有限公司
申请日： 2023-06-21 - 公布日： 2023-10-27 - 主分类号： G06F16/22 文献下载
摘要：本申请实施例提供了一种数据处理方法、装置、服务端以及存储介质。本数据处理方法包括：接收客户端发送的数据操作请求，所述数据操作请求包括待操作数据对应的业务类型；若所述数据操作请求为数据写请求，接收客户端发送的多个待操作数据，将接收到的所述多个待操作数据根据各自对应的业务类型写入对应的列族数据库中，其中，不同业务类型对应的待操作数据对应的列族数据库不同；若所述数据操作请求为数据读请求，将与所述业务类型对应的多个待操作数据返回给所述客户端。通过上述方法，根据待操作数据各自对应的业务类型将待操作数据写入到对应的列族数据库中，从而使同一个列族数据库中的数据的类型相同，方便对数据进行压缩。
数据处理方法装置服务端存储介质

[发明专利]应用于NVR的图像数据采集处理系统及方法-CN202311085932.6在审
发明人：周现生;宋丽娜 -专利权人：上海习加智能科技有限公司
申请日： 2023-08-26 - 公布日： 2023-10-27 - 主分类号： H04N5/91 文献下载
摘要：本发明公开一种应用于NVR的图像数据采集处理系统及方法，涉及数据处理技术领域，所述系统包括：图像采集单元，用于获取并输出第一图像数据；第一处理单元，用于获取第一图像数据并提取第一特征数据，基于设定加密算法处理后输出第二特征数据及加载有密钥数据的第二图像数据；数据存储单元，用于独立接收并存储第二特征数据及第二图像数据；第二处理单元，用于调取第二特征数据及第二图像数据，自第二图像数据中获取密钥数据对第二特征数据进行解密，并基于解密后的第一特征数据自第一图像数据中匹配获取相对应的第一图像数据并输出通过上述技术方案，可以提升图像数据的安全性，避免视频图像中涉及个人隐私的图像数据被滥用。
应用于 nvr 图像数据采集处理系统方法

[发明专利]无模式数据创建索引方法、装置、计算机设备及介质-CN202311218843.4在审
发明人：于宁;姚延栋;高小明;翁岩青 -专利权人：北京四维纵横数据技术有限公司
申请日： 2023-09-21 - 公布日： 2023-10-27 - 主分类号： G06F16/22 文献下载
摘要：本发明实施例提供了一种无模式数据创建索引方法、装置、计算机设备及介质，涉及数据索引技术领域，方法包括：接收json数据，达到预设行时形成数据块；将数据块内同一个key所对应的原生类型键值分配至同一数据组；对分配完数据组后的数据块生成数据标识，不同数据块所对应的数据标识不同，数据标识用于对数据块进行定位以及与数据块内的数据一一对应；对每个key所对应的键值进行数据范围提取，数据范围包括两个端值；将key、与该key对应的数据组的端值以及该key所在数据块的数据标识所组成的信息形成一条索引信息；将每个key所对应的索引信息以预定索引格式存储。该方案有效提升了数据过滤的效率。
模式数据创建索引方法装置计算机设备介质

[发明专利]数据挖掘方法及系统-CN201510527951.9有效
发明人：施坚松;朱志博;雷兵 -专利权人：上海携程商务有限公司
申请日： 2015-08-25 - 公布日： 2019-03-26 - 主分类号： G06F16/26 文献下载
摘要：本发明公开了一种数据挖掘方法及系统。该数据挖掘方法包括以下步骤：从多个数据来源获取原始数据包，并将其放入不同的分布式消息队列中；从消息队列中提取原始数据包，对提取的数据进行预处理；根据数据类型创建不同的分布式处理任务，其中包括原始数据包任务，原始数据包任务为将原始数据包解析产生索引信息和描述信息；将原始数据包中的数据与解析得到的索引信息分别存储到HBASE和搜索服务器，并将原始数据包中的数据及描述信息存储到数据库；从数据库中提取数据并进行数据挖掘本发明的数据挖掘方法及系统基于网络数据能够高效地进行信息的收集、联动、汇聚、存储、挖掘，从而能够及时发现网络威胁，溯源攻击，保障网络数据安全。
数据挖掘方法系统

[发明专利]一种处理脏数据的方法及系统-CN201410598457.7有效
发明人：张劲松 -专利权人：北京思特奇信息技术股份有限公司
申请日： 2014-10-30 - 公布日： 2017-07-28 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种处理脏数据的方法及系统，包括以下步骤客户端根据用户输入的检索信息生成检索请求并将检索请求发送给处理中心和数据库；数据库将查询到的所有相关的数据记录发送给处理中心；处理中心将所有数据记录分别与状态库中的数据信息进行验证对比，逐个判断每一数据记录是否为脏数据，如果存在脏数据，标记所有为脏数据的数据记录，并将被标记为脏数据的数据记录进行清除，如果不存在脏数据，返回所有相关的数据记录给客户端；处理中心向数据库发送检索请求，从数据库中重新获取所有相关的数据记录，清除脏数据直到将所有请求的数据记录返回。本发明能避免处理复杂SQL语句所带来的时间消耗，而且还能提高系统的数据交换效率，提高用户的体验度。
一种处理数据方法系统

[发明专利]一种基于数据字典的广域数据资源管理方法-CN201410707762.5有效
发明人：庄卫金;孙名扬;柳津;杨争林;王艳;黄龙达;于芳;张永刚;徐攀 -专利权人：国家电网公司;中国电力科学研究院;国网浙江省电力公司
申请日： 2014-11-26 - 公布日： 2018-01-19 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种基于数据字典的广域数据资源管理方法，包括在不破坏不影响现有数据和已有应用的情况下，对现有数据资源进行预先处理，生成独立的带有数据资源特征的字典实体，设计数据字典管理机制，采用多级数据字典方式进行数据索引，运用同类聚合技术压缩数据字典，优化数据检索过程；在广域网系统中部署数据字典，提供数据索引服务，网络主机通过数据字典定位数据资源，访问数据实体。本发明的方法，通过统一通用的数据字典，实现了广域网节点间数据资源的统一维护和高效共享，保证了客户端数据访问的实时性和一致性；该方法能够互联共享全网范围内的数据资源；提高数据资源利用率和数据资源管理效率。
一种基于数据字典广域资源管理方法

[发明专利]一种对标数据的获取方法及系统-CN201510455501.3有效
发明人：池煜;张静 -专利权人：中建材智慧工业科技有限公司
申请日： 2015-07-29 - 公布日： 2018-10-09 - 主分类号： G06F17/00 文献下载
摘要：本发明提供一种对标数据的获取方法及系统，所述方法包括：数据采集模块接收客户端通过网络传输来的效能数据，并转发到数据构建模块；数据构建模块对接收到的效能数据进行持久化操作；在效能数据积累到一定数量级后，数据构建模块开始对持久化的所有数据进行分类；在收到客户端通过数据采集模块发来的针对某一类型的效能数据的对标请求后，根据该请求为该类效能数据构建相应的对标模型；数据过滤模块根据对标请求对已持久化的该类型的效能数据进行过滤操作后发送给数据计算分析模块；数据计算分析模块对接收到的经过过滤操作的效能数据进行数据训练，从中剔除不适合对标模型的数据后，使用剩余的效能数据，通过对标模型进行计算，得到对标数据。
一种数据获取方法系统

[发明专利]地震数据线性噪声衰减方法及装置-CN201410421375.5有效
发明人：熊定钰;钱忠平;黄少卿;陈海云;赵海珍;张文栋;方勇 -专利权人：中国石油天然气集团公司;中国石油集团东方地球物理勘探有限责任公司
申请日： 2014-08-25 - 公布日： 2017-06-06 - 主分类号： G01V1/36 文献下载
摘要：一种地震数据线性噪声衰减方法及装置，该方法包括采集第一地震数据，对炮记录进行排列，生成左排列地震数据及右排列地震数据；对左排列地震数据及右排列地震数据进行能量均衡处理，生成第二地震数据；扫描出存在噪声的样点，进行振幅值的反能量均衡处理，形成第三地震数据；对第三地震数据进行富士变换，生成频率空间域地震数据；对频率空间域地震数据进行线性噪声预测处理，生成第四地震数据；对第四地震数据进行反富士变换到时间域，生成第五地震数据；对第五地震数据中的左排列地震数据及右排列地震数据进行组合处理，生成噪声预测后的地震数据；将第一地震数据的炮记录减去噪声预测后的地震数据的炮记录，生成线性噪声衰减后的地震数据。
地震数据线性噪声衰减方法装置

[发明专利]一种用于数据同步保存、向客户端同步数据的方法、装置和系统-CN201410389659.0有效
发明人：董小华 -专利权人：阿里巴巴集团控股有限公司
申请日： 2014-08-08 - 公布日： 2019-12-06 - 主分类号： H04L29/08 文献下载
摘要：本申请公开了一种用于数据提交的服务器端向客户端同步的方法、装置和系统，所述服务器端向客户端同步方法，包括：向服务器发送同步数据的请求；接收服务器端保存的数据记录；获取客户端本地保存的失败数据列表；判断数据记录是否存在于失败数据列表中；若否，判断数据记录是否存在于本地数据库中，若存在，则更新该数据记录，若不存在，则将该数据记录插入到本地数据库中；若是，则对比两条数据的更新时间，若数据记录更新，则将数据记录更新至本地数据库中；反之，则舍弃该数据记录，保留本地数据库中相应的数据。相应的，本申请还提供一种数据保存方法。通过本申请的技术方案，使无网状态下数据也能保存下来，多种设备上的数据保持同步。
一种用于数据同步保存客户端方法装置系统

[发明专利]一种通过网络数据获取设备操作系统信息的方法-CN201511003623.5有效
发明人：周晓军;刘韬;夏欣然;黎露;谢莎 -专利权人：成都千牛信息技术有限公司
申请日： 2015-12-28 - 公布日： 2018-10-30 - 主分类号： H04L29/06 文献下载
摘要：本发明公开了一种通过网络数据获取设备操作系统信息的方法，通过被动监听网络中产生的数据包，提取数据包内的特征数据，与特征数据库中预置的相应特征数据进行对比，从而推断出向网络发送数据包的主机操作系统信息；所述数据包包括IP数据包、TCP SYN数据包及DHCP数据包中的一种或多种；数据监听模块从网络中提取需要关注的主机所发出的IP数据包、TCP SYN数据包或/和DHCP数据包，将IP数据包、TCP SYN数据包或/和DHCP数据包内的特征数据提取出来，送入数据分析模块；通过对现有网络协议数据的创新使用，提供一种准确、高效、适用范围广泛的方法，该方法能够推断出当前网络中各个主机设备的操作系统信息。
一种通过网络数据获取设备操作系统信息方法

[发明专利]非关系型数据库支持事务的方法及装置-CN201410544896.X有效
发明人：裴国东 -专利权人：腾讯科技(深圳)有限公司
申请日： 2014-10-15 - 公布日： 2019-12-13 - 主分类号： G06F16/21 文献下载
摘要：本发明提供一种非关系型数据库支持事务的方法及装置，该方法包括：获取事务开始请求，事务开始请求用于指示数据写入；将数据写入第一非关系型数据库中，并将与数据对应的键值存储到事务实例中，其中，第一非关系型数据库在事务实例中的状态为备数据库；在数据写入完成后，获取事务结束请求，事务结束请求用于指示第一非关系型数据库与第二非关系型数据库的数据同步，其中，第二非关系型数据库在事务实例中的状态为主数据库；根据事务实例中存储的键值，将写入第一非关系型数据库中与键值对应的数据同步到第二非关系型数据库中；其中，备数据库用于写入数据，主数据库用于读出数据，本实施例使得非关系型数据库可以良好的支持事务。
关系数据库支持事务方法装置

[发明专利]一种基于Erasure编码和副本技术的数据备份方法-CN200910182016.8有效
发明人：余勇;邓松;林为民;唐汗青 -专利权人：国网电力科学研究院;南京南瑞集团公司
申请日： 2009-07-29 - 公布日： 2010-01-20 - 主分类号： G06F11/14 文献下载
摘要：本发明公开了一种基于Erasure编码和副本技术的数据备份方法。当待存储的数据超过了存储资源的最大容量后，数据需要进行分割后分布式存储，以提高存储效率。同时对这些分割后的数据子块计算校验码，并存储这些校验码，在部分数据子块受损的情况下，利用Erasure编码来恢复出受损的数据子块，保证了原始数据的完整性。采用副本的方法来备份原始数据，同时根据存储服务器的个数等参数来确定数据副本产生的数量。最后所产生的数据副本元数据信息存储到副本数据库中，以便在发生数据灾难时，用户通过查询副本数据库利用数据副本来恢复原始数据。通过数据分割和副本创建技术来更好地解决数据容灾中的数据备份问题，既提高了数据的存储效率，又保证了数据的完整性。
一种基于 erasure 编码副本技术数据备份方法