[发明专利]基于大数据处理自更新去冗余的人工智能公共数据平台

权利要求书

1.基于大数据处理自更新去冗余的人工智能公共数据平台，包括新数据输入单元，其特征在于：所述新数据输入单元输出端连接有公共数据共享单元，所述公共数据共享单元，所述公共数据共享单元输出端连接有新旧数据对比单元，所述新旧数据对比单元用于对新数据与原先存储的数据进行对比，所述新旧数据对比单元输出端连接有大数据存储单元，所述大数据存储单元输出端与所述公共数据共享单元输入端连接，所述新旧数据对比单元输出端还连接有冗余数据剔除单元，所述冗余数据剔除单元用于对重复的新数据进行剔除。

2.根据权利要求1所述的基于大数据处理自更新去冗余的人工智能公共数据平台，其特征在于：所述公共数据共享单元包括新数据母本预存储模块，所述新数据母本预存储模块输出端连接有新数据副本生成模块，所述新数据副本生成模块用于根据新数据信息生成新数据副本，所述新数据副本生成模块输出端连接有新数据副本输出模块，所述新数据母本预存储模块输出端还连接有母本数据自更新模块，所述母本数据自更新模块数输入端与所述大数据存储单元输出端连接。

3.根据权利要求2所述的基于大数据处理自更新去冗余的人工智能公共数据平台，其特征在于：所述新数据母本预存储模块输出端还连接有母本数据删除模块，所述母本数据删除模块输入端与所述冗余数据剔除单元输出端连接。

4.根据权利要求1所述的基于大数据处理自更新去冗余的人工智能公共数据平台，其特征在于：所述新旧数据对比单元包括对比数据字符提取模块，所述对比数据字符提取模块用于对对比的数据进行字符提取，所述对比数据字符提取模块输出端连接有数据字符重复率计算模块，所述数据字符重复率计算模块输出端连接有对比结果输出模块。

5.根据权利要求4所述的基于大数据处理自更新去冗余的人工智能公共数据平台，其特征在于：所述新旧数据对比单元采用字符重复率计算公式，其公式如下所示：

；

其中为公共数据共享单元初始数据字符集合，a为初始数据字符，为新数据字符集合，b为新数据字符，为共享单元初始数据字符与新数据字符重复率，为共享单元初始数据字符与新数据字符重复个数，为共享单元初始数据字符与新数据字符总和，B为阈值重复率，当＞B，表示该对比的新数据与公共数据共享单元初始存储数据重复，当≤B，表示对比的新数据为未重复数据。

6.根据权利要求1所述的基于大数据处理自更新去冗余的人工智能公共数据平台，其特征在于：所述冗余数据剔除单元输出端连接有重复数据标识单元，所述重复数据标识单元用于对冗余数据进行标识，所述重复数据标识单元输出端与所述大数据存储单元输入端连接。

7.根据权利要求6所述的基于大数据处理自更新去冗余的人工智能公共数据平台，其特征在于：所述重复数据标识单元包括重复数据字符提取模块，所述重复数据字符提取模块输出端连接有标识数据字符适应模块。

8.根据权利要求7所述的基于大数据处理自更新去冗余的人工智能公共数据平台，其特征在于：所述大数据存储单元输出端与所述新数据输入单元输入端连接。

9.根据权利要求8所述的基于大数据处理自更新去冗余的人工智能公共数据平台，其特征在于：所述新数据输入单元包括数据预筛分模块，所述数据预筛分模块输入端与所述大数据存储单元输出端连接，所述数据预筛分模块输出端连接有数据截取模块，所述数据预筛分模块输出端还连接有数据输入模块。