[发明专利]用于处理字符流的方法与设备

权利要求书

1.一种用于处理字符流的方法，包括：

响应于所述字符流形成多个并行属性位流，其中所述并行属性位流中的每一个包括与该字符流的数据值相关联的一个特定属性的位值；以及

处理所述一个或多个并行属性位流。

2.如权利要求1所述的方法，其特征在于，所述处理包括：

通过对所述并行属性位流中的一个或多个进行操作形成一个或多个进一步的属性流。

3.如权利要求1所述的方法，其特征在于，所述处理包括同时对所述一个或多个并行属性位流中的多个位进行操作。

4.如权利要求3所述的方法，其特征在于，所述对多个位进行操作包括使用同时指令多数据(SIMD)计算机操作。

5.如权利要求2所述的方法，其特征在于，所述操作包括对所述并行属性位流中的一个或多个执行布尔操作和/或移位操作。

6.如权利要求1所述的方法，其特征在于：

所述字符流是由UTF-8格式(UTF-8)的8位代码单元的流构成的Unicode字符流；并且

所述形成包括形成8个并行属性位流u8bit0(i)到u8bit7(i)，其中每个位流对应于所述字符流的相继代码单元内的单个位的位置。

7.如权利要求6所述的方法，其特征在于，所述形成包括：

执行三次二进制分割变换，其中每次变换将所述字符流分割成两个半长的输出流，从而三次这样的二进制分割变换生成各自为所述字符流长度的八分之一的八个位流。

8.如权利要求6所述的方法，其特征在于，所述处理包括：

通过对所述8个并行属性位流u8bit0(i)到u8bit7(i)执行布尔和/或移位操作形成标识UTF-8违规的UTF-8有效性属性位流u8invalid(i)。

9.如权利要求8所述的方法，其特征在于，还包括：

使用位检测设施分析u8invalid(i)以检测差错；以及

如果检测到差错则生成出错信号。

10.如权利要求8所述的方法，其特征在于，所述形成u8invalid(i)包括形成以下并行属性位流：

u8unibyte(i)＝u8bit0(i)

u8prefix(i)＝u8bit0(i)∧u8bit1(i)

u8suffix(i)＝u8bit0(i)∧u8bit1(i)

u8prefix2(i)＝u8prefix(i)∧u8bit2(i)

u8prefix3or4(i)＝u8prefix(i)∧u8bit2(i)

u8prefix3(i)＝u8prefix3or4(i)∧u8bit3(i)

u8prefix4(i)＝u8prefix3or4(i)∧u8bit3(i)

u8badpfx2(i)＝u8prefix2(i)∧

              (u8bit3(i)∨u8bit4(i)∨u8bit5(i)∨u8bit6(i))

u8badpfx4(i)＝u8prefix4(i)∧

              (u8bit4(i)∨u8bit5(i)∧(u8bit6(i)∨u8bit7(i)))

u8scope22(i)＝u8prefix2(i-1)

u8scope32(i)＝u8prefix3(i-1)

u8scope33(i)＝u8prefix3(i-2)

u8scope42(i)＝u8prefix4(i-1)

u8scope43(i)＝u8prefix4(i-2)

u8scope44(i)＝u8prefix4(i-3)

u8special(i)＝u8bit6(i)∧(u8bit4(i)u8bit7(i))∧

              (u8bk3(i)∨((u8bit4(i)u8bit5(i))))

anyscope(i)＝u8scope22(i)∨u8scope32(i)∨u8scope33(i)∨

u8scope42(i)∨u8scope43(i)∨u8scope44(i)

u8mismatch(i)＝anyscope(i)u8suffix(i)

u8badsfx32(i)＝u8scope32(i)∧u8special(i-1)∧

               (u8bit4(i-1)u8bit2(i))

u8badsfx42(i)＝u8scope42(i)∧u8special(i-1)∧

               (u8bit4(i-1)(u8bit2(i)∨u8bit3(i)))

u8invalid(i)＝u8badpfx2(i)∨u8badpfx4(i)∨u8mismatch(i)∨

              u8badsfx32(i)∨u8badsfx42(i)。