[发明专利]用于大规模数据存储的高效的基于列的数据编码无效
| 申请号： | 200980130984.2 | 申请日： | 2009-07-31 |
| 公开（公告）号： | CN102112962A | 公开（公告）日： | 2011-06-29 |
| 发明（设计）人： | A·耐茨;C·佩特克勒斯克;I·B·克里瓦特 | 申请（专利权）人： | 微软公司 |
| 主分类号： | G06F7/76 | 分类号： | G06F7/76;G06F7/78 |
| 代理公司： | 上海专利商标事务所有限公司 31100 | 代理人： | 顾嘉运;钱静芳 |
| 地址： | 美国华*** | 国省代码： | 美国;US |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及基于列的数据编码，其中要压缩的原始数据按照列来组织，然后，作为数据大小的第一层和第二层缩减，向按列组织的数据应用字典编码和/或值编码，来创建对应于各列的整数序列。接着，混合贪婪行程长度编码和位打包压缩算法根据位节省分析来进一步压缩数据。混合数据缩减技术与基于列的组织相呼应的协同作用，加上归功于紧凑数据的表示的扫描和查询效率，以常规系统的一小部分成本得到了显著改进的数据压缩。 | ||
| 搜索关键词： | 用于 大规模 数据 存储 高效 基于 编码 | ||
【主权项】：
一种用于编码数据的方法，包括：根据对应于所述数据的不同数据字段的一组基于列的值序列来组织210所述数据；根据至少一个编码算法将所述一组基于列的值序列变换220成一组基于列的整数值序列；以及根据至少一个压缩算法压缩230所述一组基于列的整数序列。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于微软公司，未经微软公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/200980130984.2/，转载请声明来源钻瓜专利网。
- 上一篇：弹性变形宫内节育器
- 下一篇：医用跟骨骨折复位固定调节器
- 同类专利
- 队列消息的操作方法、装置和存储介质-201811372489.X
- 邓硕灵;陈子文;陈滨;李玉龙;彭世雄;俞瑾;郭未 - 深圳证券交易所
- 2018-11-16 - 2019-04-19 - G06F7/76
- 本发明公开了一种队列消息的操作方法，队列消息的操作方法应用于存储介质，存储介质内设头指针、尾指针、释放指针以及队列存储空间，头指针、尾指针以及释放指针指向队列存储空间；队列消息的操作方法包括以下步骤：在接收到队列消息的操作指令时，确定操作指令的类型，操作指令包括入队指令、出队指令以及释放指令；根据操作指令，确定待移动的指针以及待移动的指针在队列存储空间中的目标位置，队列存储空间中的各个队列消息的数据量可不相同；控制待移动的指针移动至目标位置，并对队列消息执行操作指令对应的操作。本发明还公开一种存储介质和队列消息的操作装置。本发明公开的存储介质能够同时兼顾灵活性、低时延以及高性能大三特性。
- 有效编码的方法和装置-201510047096.1
- I·鲍尔斯泰恩 - 马维尔以色列(M.I.S.L.)有限公司
- 2015-01-29 - 2019-03-12 - G06F7/76
- 本公开的各方面涉及有效编码的方法和装置，具体地提供了包括编码电路和有效电路的电路。编码电路配置为编码数据总线上作为信号传送的编码数据，以满足限制连续传送之间位反转数量的要求。有效电路配置为有选择地舍弃不满足限制连续传送之间位反转数量的要求的信号，以指示数据总线上传送的信号是否构成有效数据或无效数据。
- 一种对象排序调整方法、装置、设备及可读存储介质-201811301893.8
- 王夏鸣 - 科大讯飞股份有限公司
- 2018-11-02 - 2019-02-19 - G06F7/76
- 本申请公开了一种对象排序调整方法、装置、设备及可读存储介质，本申请在确定达到排序调整时机时，获取对象面板中每一对象当前时刻的被记忆状态，根据每一对象当前时刻的被记忆状态，在所述对象面板中确定出表示被记住的目标对象，进一步确定当前时刻的调整后对象面板，调整后对象面板中所述目标对象的顺序保持与调整前固定不变，除所述目标对象外的其余对象按照当前时刻之前的历史被选中信息，重新调整排序顺序。本申请考虑了对象面板中对象的被记忆状态，保持记住的对象在对象面板中的顺序与调整前不变，并按照当前时刻之前的历史被选中信息，重新调整未记住对象的顺序。对象面板中对象的排序方式更优化，有效提高了检索所需对象的效率。
- 一种优先级队列设计方法及优先级队列设计装置-201510427912.1
- 潘洪安 - 北京金山安全软件有限公司
- 2015-07-20 - 2019-01-22 - G06F7/76
- 本发明的实施例公开一种优先级队列设计方法及优先级队列设计装置。优先级队列设计方法包括：获取待置于优先级队列中的各元素的优先级级别序列；以得到的优先级级别序列构建优先级队列，优先级级别序列中的每一级优先级级别对应构建的所述优先级队列中的一列元素；为构建的所述优先级队列中的列元素设置相应的优先级级别索引，并使设置的所述优先级级别索引映射优先级级别链表；从所述待置于优先级队列中的各元素中，选取相同优先级级别的元素，按照先进先出的方式，置于该优先级别对应的优先级级别链表中，以使所述优先级级别链表存储具有该优先级级别的所有元素。应用本发明，可以降低基于生成的优先级队列进行更新的时间复杂度。
- 数据分拆处理系统及方法-201310018199.6
- 胡明 - 北京京东尚科信息技术有限公司
- 2013-01-18 - 2018-02-06 - G06F7/76
- 本发明揭示了一种数据分拆处理系统及方法，包括分路器、组帧器、锁存器、读写器、乘法器、累加器、计数器。其中，分路器将一路输入数据拆分为多路处理数据，输出至组帧器。组帧器将多路处理数据组合成数据帧，并且在每一帧添加数据头，将数据帧输出至锁存器。锁存器与读写器相连接，读写器接收选择信令，根据选择信令读写锁存器，锁存器将被读写的数据帧中相应的处理数据输出至乘法器。乘法器将处理数据乘以预设比例系数，输出至累加器。累加器将处理后的处理数据累加，通过计数器记录累加个数。采用了本发明的技术方案，可以将不同数据大小和数据格式的处理数据进行统一处理，并且统一处理的数据能够有统一的校验和统一的管理。
- 一种A/D采样的改进的均值滤波算法-201710202512.X
- 黄健 - 西京学院
- 2017-03-30 - 2017-07-25 - G06F7/76
- 一种A/D采样的改进的均值滤波算法,利用MCU采集数据，并将采集到的数据进行A/D转换，将其存入数组AD[N]中，N的取值大于等于100。当数组中存储的采样值已满，对N个数按照从小到大的顺序进行冒泡排序，然后去掉排序后的数组中前面、后面各N/5个数据，用剩余的3×N/5求和，并取其平均值，得到最终的采样值。这种算法能够有效的去掉干扰信号，特别是与采样值相差很大的值，使得最终的采样值非常接近真值。因此该软件滤波方法具有易实现、响应快、抗干扰性高等特性,且能有效地抑制噪声。
- 一种基于阵列处理器的多地址数据排列方法及装置-201210397901.X
- 李原;沈承科;杨健 - 中兴通讯股份有限公司
- 2012-10-18 - 2016-11-30 - G06F7/76
- 本发明公开了一种基于阵列处理器的多地址数据排列方法及装置，所述方法包括：将LTE PUSCH符号级链路处理划分成五个操作过程kernel，以分别完成快速傅立叶变换FFT、信道估计CHE、最小均方差MMSE、离散傅立叶逆变换IDFT以及解调制LLR；在执行完FFT的操作过程后，通过内部交换网对以紧凑方式存储在L1D缓存之中的资源块RB数据按照之后各个kernel的不同输入排列需求进行紧凑排序。本发明可自适应各种不同的排序情况，并且通过对实际排序情况进行归纳提炼，整理出各种情况下的排序策略选择，设计出优化的取数方式、循环移位方式以及掩码策略，从而对在阵列处理器中实现RB数据流排序进行了优化。
- 序列化方法、反序列化方法、序列化装置及反序列化装置-201510176593.1
- 李洋;冯旭瑞 - 阿里巴巴集团控股有限公司
- 2015-04-14 - 2016-11-23 - G06F7/76
- 本申请提供了一种序列化方法、反序列化方法、序列化装置及反序列化装置，本申请实施例首先确定目标对象的存储结构类型，利用该存储结构类型，查找对应的目标序列器，目标序列器中保存有目标对象的元数据信息，进而触发目标序列器将目标对象写入到序列中，从而完成目标对象序列化过程。
- 在数据处理系统中用于执行浮点算术运算的方法和装置-201280061198.3
- J·A·施蒂切利;E·E·雷特尔;K·拉加玛尼;B·梅利;J·B·卡特 - 国际商业机器公司
- 2012-11-21 - 2016-10-12 - G06F7/76
- 提供用于在数据处理系统中执行浮点算术运算的机制。接收浮点算术运算的多个浮点操作数，并且对多个浮点操作数中的至少一个浮点操作数的尾数中的位进行移位。尾数中被移位到至少一个浮点操作数的尾数的位范围以外的一个或者多个位被存储，并且基于所存储的、该尾数中被移位到至少一个浮点操作数的尾数的位范围以外的一个或者多个位生成矢量值。基于矢量值和多个浮点操作数生成用于浮点算术运算的结果值。
- 一种序列号转换方法和装置-201410252082.9
- 张强;邱城晓;雷镭;施雷;周超;范新生;滕文强;段晴;祝继 - 中国建设银行股份有限公司
- 2014-06-09 - 2014-10-08 - G06F7/76
- 本发明提供了序列号转换方法，包括：根据35位序列号的后10位的连续非零有效位数确定转码方式，若连续非零有效位数为0-3，则将35位序列号分拆为3部分转码为19位序列号，若连续非零有效位数为4-7，则将35位序列号分拆为4部分转码为19位序列号，以及包括：根据19位序列号最后4位解码得到的3字节整数确定转码方式，若3字节整数的高2bit为第一标识码，则将19位序列号分拆为3部分转码为35位序列号；若所述3字节整数的高2bit为第二标识码，则将19位序列号分拆为4部分转码为35位序列号。本发明还提供了相应的装置。实施上述方法和装置，可实现序列号的高效、唯一、可逆转换。
- 数据移位器及其控制方法、复用器、数据筛分器和数据分类器-201080067157.6
- 浅中和典 - 瑞典爱立信有限公司
- 2010-03-31 - 2013-04-10 - G06F7/76
- 数据移位器(10)包括多个级，每级包括N个基本单元(20)，每个基本单元最初指派有一比特值c和正整数q。第p级中的第m个基本单元输入目标数据和表示输入目标数据的逻辑“或”Data(p,m)应路由选择到的通道号的目的地数据；比较来自输入目的地数据的逻辑“或”Des(p,m)的LSB的第q比特和该c；以及基于比较结果，输出Data(p,m)或值0及Des(p,m)或值0去往下一级中的第m个基本单元，并且如果m-1+2q-1
- 信息提供方法及设备-201210501907.7
- 杨涛;李亚光 - 北京奇虎科技有限公司;奇智软件（北京）有限公司
- 2012-11-29 - 2013-04-03 - G06F7/76
- 本发明公开了一种信息提供方法，其提供多种信息，其中每种信息要被提供预定的次数。该方法包括：根据提供信息的总次数、信息种类和与每种信息相对应的预定次数来生成一包含多个队列单元的信息队列，使该信息队列所包含的队列单元的数量与所述总次数相对应；对于每种信息，分别将其存储到与该种信息的被提供的预定次数相对应的预定数量的队列单元中；顺序地从所述信息队列的队列单元中取出信息并提供该信息。另外，本发明还公开一种信息提供设备。利用本发明，可以通过控制信息队列，来精确控制各信息被提供的概率以及被提供的次序，从而保证信息提供过程实时、精确。
- 一种位域操作电路及位域操作方法-201210118923.8
- 马强;赵香;龚晓华;周乐 - 中国电子科技集团公司第三十八研究所
- 2012-04-21 - 2012-10-03 - G06F7/76
- 本发明公开了一种位域操作电路及位域操作方法，所述位域操作电路具有根据原始数据0产生第一中间数据的第一移位器，根据源寄存器Rm中源操作数A产生第二中间数据的第二移位器，根据第一和第二中间数据产生第数三中间数据的第一逻辑与电路，根据第三中间数据产生第四中间数据的第三移位器，根据原始数据0Xffffffff产生第五中间数据的第四移位器，根据第五中间数据产生第六中间数据的第五移位器，根据目的寄存器Rs中目的操作数B与第六中间数据产生第七中间数据的第二逻辑与电路，根据第七中间数据与第四中间数据产生第八中间数据的逻辑或电路，根据第八中间数据与第四中间数据产生最终结果C的选择器。实现了位域操作非放置区的位域操作数既能保持原值也能清零的操作目的。
- 用于大规模数据存储的高效的基于列的数据编码-200980130984.2
- A·耐茨;C·佩特克勒斯克;I·B·克里瓦特 - 微软公司
- 2009-07-31 - 2011-06-29 - G06F7/76
- 本发明涉及基于列的数据编码，其中要压缩的原始数据按照列来组织，然后，作为数据大小的第一层和第二层缩减，向按列组织的数据应用字典编码和/或值编码，来创建对应于各列的整数序列。接着，混合贪婪行程长度编码和位打包压缩算法根据位节省分析来进一步压缩数据。混合数据缩减技术与基于列的组织相呼应的协同作用，加上归功于紧凑数据的表示的扫描和查询效率，以常规系统的一小部分成本得到了显著改进的数据压缩。
- 数据处理电路-201010274528.X
- 黄明松;吕文闵;陈建洲 - 钰创科技股份有限公司
- 2010-09-03 - 2011-01-05 - G06F7/76
- 本发明有关于一种数据处理电路，包含有一译码器与N级电路，其中N为正整数，且小于无限大。该译码器用以译码数据。这些电路接收来自至少一内存的多个输入数据，将这些输入数据区分为N个阶段同步排序及/或同步暂存，以缩短这些输入数据的处理时间，且将处理后产生的输出数据输出至该译码器。
- 一种定长信元交换中的数据位宽的转换装置和方法-200810236519.4
- 不公告发明人 - 陈海红;杨婷;杨艳
- 2008-12-30 - 2010-07-07 - G06F7/76
- 本发明公开了一种定长信元交换中的数据位宽的转换装置。该装置包括：两组数据存储区域、一个Gray计数器和一个内部标志信号，其中每个存储区域用来存储一个完整的信元；Gray计数器用来指示在相应的时钟有效沿往相应Gray计数值的RAM单元写入输入数据，另外用来指示RAM两个信元存储区域的状态；内部标志信号代表即将写入的数据将要被存储到两个存储区域中的哪一个区域。本发明公开了实现一种定长信元交换中的数据位宽的转换的方法，采用这种装置和方法，可以大大减少设计面积，节约成本；耗费很少的逻辑资源，实现起来简单可靠；还可以实现定长的信元的Back-to-Back的传输，提高系统的吞吐率。
- 二进制翻译中的字节序调整方法-201010300018.5
- 管海兵;梁阿磊;朱彤;刘博;杨辉兵 - 上海交通大学
- 2010-01-04 - 2010-06-30 - G06F7/76
- 本发明公开了一种计算机技术领域的二进制翻译中的字节序调整方法，包括以下步骤：动态二进制翻译系统的执行引擎加载源程序可执行映像，将各个程序段的内容进行字节序调整，同时调整加载进来的参数个数、参数内容和环境变量；修改表示内存访问的中间指令的有效地址，使修改后的有效地址的表达符合源程序内存访问指令的语义，以在内存中加载或存储正确的数据；前端解码器将源程序指令翻译为中间指令，然后将生成的中间指令加入到构建的中间指令基本块中，直到发生直接跳转或系统调用，则结束当前基本块的构造，并将该基本块发送到后端执行。本发明采用修改内存地址的方法避免了内存数据字节顺序的搬移，高效准确，在二进制翻译领域具有通用性。
- 数据变换方法及装置-200910236912.8
- 陆舟;于华章 - 北京飞天诚信科技有限公司
- 2009-10-27 - 2010-04-21 - G06F7/76
- 本发明公开了一种数据变换方法及装置，涉及数据的处理算法领域，解决了目前变换方法比较复杂的问题。本发明从待变换数据串的预定位置获取偏移量；根据所述偏移量从待变换数据串中获取预定位数的数据；将所获取的数据变换为十进制数据；判断所述十进制数据的长度是否小于第一预定长度；如果所述十进制数据的长度不小于第一预定长度，则从所述十进制数据的低位开始连续取第一预定长度的数据作为变换后的数据；如果所述十进制数据的长度小于第一预定长度，则将所述十进制数据的高位补零至第一预定长度，并将高位补零后的数据作为变换后的数据。本发明主要用在各种需要进行数据变换的设备和方法中，如：动态口令的生成过程和设备。
- 模块化有限状态变换机的变换-200780034283.X
- S·E·卢科;D·E·兰沃西;G·M·德拉-利贝拉 - 微软公司
- 2007-09-14 - 2009-08-26 - G06F7/76
- 提供Q框架，简称为QFX，用于以跨一组不同的FST表示类型实现对在其表示中支持动作信息的FST的动作语义的保存的通用方式执行高效树变换。QFX也允许在执行树变换的同时保存有序和无序嵌套信息、支持将非确定性数据结构变换成确定性数据结构，并允许对含有动作语义的机器进行交运算。
- 专利分类
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
