[发明专利]样本数据提取方法、装置、系统及区块链系统记账方法在审
申请号: | 201911422591.0 | 申请日: | 2019-12-31 |
公开(公告)号: | CN113127481A | 公开(公告)日: | 2021-07-16 |
发明(设计)人: | 郭道峰 | 申请(专利权)人: | 国民技术股份有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/24;G06F16/27 |
代理公司: | 北京律和信知识产权代理事务所(普通合伙) 11446 | 代理人: | 王月春;谢清萍 |
地址: | 518057 广东省深圳市南山区西*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 样本 数据 提取 方法 装置 系统 区块 记账 | ||
本公开涉及一种样本数据提取方法、装置、系统及区块链系统记账方法。该方法包括:确定样本提取条件;对第一数据进行哈希处理以生成对应的第二数据;以及根据所述样本提取条件对所述第二数据进行筛选以由所述第一数据中提取出样本数据。本公开涉及的样本数据提取方法、装置、系统及区块链系统记账方法,能够在各节点无信息交互甚至不联网情况下,在多台设备或者不同的系统上对同一组大数据生成一致的随机样本提取结果。
技术领域
本公开涉及计算机信息处理领域,具体而言,涉及一种样本数据提取方法、装置、系统及区块链系统记账方法。
背景技术
在分布式系统或者单套独立系统中经常需要按比例随机抽取一定占比的数据。例如:把1000万个文件,按所需比例分成50组,存储于不同设备;在多个磁盘控制器上的1000万个文件中随机取出10000个文件;对于全国养老(扶贫)人员,随机抽取0.5%进行回访、抽查;区块链各节点,非协商情况下,对于记账节点的一致性选择。
传统在大数据中随机抽取的样本数据本身是随机的,是不可复现的,现有技术中,如果多个系统或者服务之间需要使用一致的样本进行后续处理的话,他们之间经常需要进行联网以解决上述问题,可例如由一个服务器对大数据进行随机抽取样本,然后将该样本分享给其他服务器,以使得所有的服务器上的样本一致。
但是,在系统脱网或者网速较慢或者广域网的条件下,样本数据的传输很难做到快速便捷,这种情况会影响整个系统的样本数据处理进程,带来更多的时间损耗或者物资投入。
因此,需要一种新的样本数据提取方法、装置、系统及区块链系统记账方法。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本公开提供一种样本数据提取方法、装置、系统及区块链系统记账方法,能够在无信息交互甚至是不联网的情况下,在多台设备或者不同的系统上对同一组大数据生成一致的随机样本提取结果。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一方面,提出一种样本数据提取方法,该方法包括:确定样本提取条件;对第一数据进行哈希处理以生成对应的第二数据;以及根据所述样本提取条件对所述第二数据进行筛选以由所述第一数据中提取出样本数据。
在本公开的一种示例性实施例中,确定样本提取条件,包括:确定样本提取条件包括:根据样本提取比例和所述第二数据的筛选位生成所述样本提取条件。
在本公开的一种示例性实施例中,所述第一数据包括多个元素。
在本公开的一种示例性实施例中,所述第一数据还包括混杂数,所述混杂数用于辅助标识所述第一数据或者用于校验所述第一数据中包括的所述多个元素。
在本公开的一种示例性实施例中,对所述第一数据进行哈希处理以生成对应的第二数据,包括:确定目标哈希算法;以及通过所述目标哈希算法对所述第一数据进行哈希处理以生成对应的第二数据。
在本公开的一种示例性实施例中,根据所述样本提取条件对所述第二数据进行筛选以由所述多个第一数据中提取出样本数据,包括:将第二数据与所述样本提取条件进行比对,将满足所述样本提取条件的所述第二数据作为目标数据;以及通过所述目标数据对应的第一数据生成所述样本数据。
在本公开的一种示例性实施例中,将第二数据与所述样本提取条件进行比对,包括:
将所述第二数据作为数值形式的数据;在所述第二数据中确定目标比较位;根据所述样本提取比例确定至少一位目标字节值的范围;以及将所述目标比较位上的字节与所述至少一位目标字节值的范围进行对比。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国民技术股份有限公司,未经国民技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911422591.0/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置