[发明专利]多类型数据的一致性预处理方法

说明书

技术领域

本发明涉及互联网数据处理的技术领域，具体说是一种多类型数据的一致性预处理方法。

背景技术

互联网的数据五花八门，资讯、微博、论坛等等，这些数据包含着各种各样的杂质，同时也有很多重要的信息隐藏其中。数据在具体使用处理的时候如果不能去除杂质，提取精华，会给数据的处理带来很多不便和麻烦，甚至会影响整个数据处理的效果。同时当数据在处理的时候会发现有很多处理是相同的，如果在最终处理的时候分别处理是一种浪费，如何能够节省这部分资源也是课题之一。

发明内容

本发明要解决的技术问题是提供一种多类型数据的一致性预处理方法。

本发明为解决公知技术中存在的技术问题所采取的技术方案是:

本发明的多类型数据的一致性预处理方法，包括以下步骤：

A、对时间类型字段进行处理，将时间类型字段数据根据时间归一化算法进行归一化，得到格式统一的时间字段；

B、对文本类型字段数据进行汉字的繁简转换；

C、对文本类型字段数据进行HTML标签的过滤，将数据变为人工可阅读的形式；

D、对文本类型字段数据进行分词；

E、基于分词结果提取数据中的关键词；

F、基于分词结果提取数据中的摘要，通过摘要预览数据内容；

G、基于分词结果提取数据中的时间，将数据中行文的时间提取出来，并加以归一化；

H、对文本类型字段数据进行联系方式的提取；

I、提取文本类型字段数据中的微博要素；

J、对数据本身的类型错误进行修正；

K、对数据本身的来源进行修正；

L、为数据本身提供唯一语义指纹。

本发明还可以采用以下技术措施：

步骤G中，对相对时间进行处理，或对缺失时间进行补齐。

步骤H中，联系方式提取的对象包括下列任一一种类型：QQ，Email，Cellphone，Tel，URL、MSN、微信ID和地址。

步骤I中，提取的微博要素包括微博话题、转发人、内容中提到的人和转发对象中任一一种。

本发明具有的优点和积极效果是:

本发明的多类型数据的一致性预处理方法中，将数据类型分为文本类型字段、日期类型字段和数据本身三种类型，实现了将不同来源不同类型的数据进行统一的处理，清除数据中的杂质，并从中提取出有价值的内容供后续处理使用，统一的处理使得后续处理方便而快捷，不需要再做重复的劳动，节省了整个系统的资源，同时灵活的配置可以使不同的系统在这里获得不同的效果，实现了一份数据在同一个服务下面向不同系统进行有针对性的处理。

具体实施方式

以下通过具体实施例对本发明进行详细说明。

本发明的多类型数据的一致性预处理方法，包括以下步骤：

A、对时间类型字段进行处理，将时间类型字段数据根据时间归一化算法进行归一化，得到格式统一的时间字段；

B、对文本类型字段数据进行汉字的繁简转换；

C、对文本类型字段数据进行HTML标签的过滤，将数据变为人工可阅读的形式；

D、对文本类型字段数据进行分词；

E、基于分词结果提取数据中的关键词；

F、基于分词结果提取数据中的摘要，通过摘要预览数据内容；

G、基于分词结果提取数据中的时间，将数据中行文的时间提取出来，并加以归一化；

H、对文本类型字段数据进行联系方式的提取；

I、提取文本类型字段数据中的微博要素；

J、对数据本身的类型错误进行修正，例如论坛的数据被当成了微博就会被修正为论坛；

K、对数据本身的来源进行修正；

L、为数据本身提供唯一语义指纹。

步骤G中，对相对时间进行处理，或对缺失时间进行补齐。

步骤H中，联系方式提取的对象包括下列任一一种类型：QQ，Email，Cellphone，Tel，URL、MSN、微信ID和地址。

步骤I中，提取的微博要素包括微博话题、转发人、内容中提到的人和转发对象中任一一种。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例公开如上，然而，并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当然会利用揭示的技术内容作出些许更动或修饰，成为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围内。