[发明专利]一种数据处理方法和装置

说明书

技术领域

本发明涉及信息获取技术领域，尤其涉及一种数据处理方法和装置。

背景技术

随着web网页数量的快速增长，为了使用户能够快速准确的获得自己感兴趣的信息，通常会先对这些页面数据进行信息提取，进行网页解析。

但是，本领域技术人员在日常工作中发现现有技术中存在如下不足：

现有技术中的网页解析方法，在任务较多时，代码复用率低；不同项目解析内容不同，当多人共同完成时，由于没有固定的编码规范，易造成代码管理混乱；而且解析结果均为网页上的原始值，大多不能直接使用。

发明内容

本发明实施例提供了一种数据处理方法和装置，解决了现有技术中在任务较多时代码复用率低，当多人共同完成时易造成代码管理混乱，解析结果均为网页上的原始值，大多不能直接使用的技术问题，具有提高代码复用率，使代码管理简便，可得到能够直接使用的数据，降低对解析工作人员的技术要求的技术效果。

本申请实施例提供一种数据处理方法，应用于对网页的数据采集，所述方法包括：获得第一网页；根据所述第一网页获得所述第一网页的对象；根据所述对象和所述第一网页获得所述第一网页和所述对象之间的第一映射关系；获得第二网页，其中，所述第一网页和所述第二网页具有相同的属性信息；根据所述第一映射关系获得待获取元素在所述第二网页中的位置；根据所述第一映射关系获得所述待获取元素在所述位置的数据；判断所述数据的数据类型；当所述数据类型是基本数据类型时，对所述数据进行标准化处理。

进一步地，所述方法还包括：将所述标准化处理后的数据存储到数据库中。

进一步地，所述对象还包括定位注解，所述根据所述第一映射关系获得待获取元素在所述第二网页中的位置，具体为：根据定位注解获得待获取元素在所述第二网页中的位置。

进一步地，所述对象还包括取值注解，所述根据所述第一映射关系获得所述待获取元素在所述位置的数据，具体为：通过调用取值注解获得所述待获取元素在所述位置的数据。

进一步地，所述方法还包括：当所述数据类型不是基本数据类型时，则获得第三网页，其中，所述第一网页和所述第三网页具有相同的属性信息。

本申请实施例还提供一种数据处理装置，所述装置包括：第一获得单元，所述第一获得单元用于获得第一网页；第二获得单元，所述第二获得单元用于根据所述第一网页获得所述第一网页的对象；第三获得单元，所述第三获得单元用于根据所述对象和所述第一网页获得所述第一网页和所述对象之间的第一映射关系；第四获得单元，所述第四获得单元用于获得第二网页，其中，所述第一网页和所述第二网页具有相同的属性信息；第五获得单元，所述第五获得单元用于根据所述第一映射关系获得待获取元素在所述第二网页中的位置；第六获得单元，所述第六获得单元用于根据所述第一映射关系获得所述待获取元素在所述位置的数据；第一判断单元，所述第一判断单元用于判断所述数据的数据类型；第一处理单元，所述第一处理单元用于当所述数据类型是基本数据类型时，对所述数据进行标准化处理。

进一步地，所述装置还包括：第一存储单元，所述第一存储单元用于将所述标准化处理后的数据存储到数据库中。

进一步地，所述装置还包括：第七获得单元，所述第七获得单元用于根据定位注解获得待获取元素在所述第二网页中的位置。

进一步地，所述装置还包括：第八获得单元，所述第八获得单元用于通过调用取值注解获得所述待获取元素在所述位置的数据。

进一步地，所述方法还包括：第九获得单元，所述第九获得单元用于当所述数据类型不是基本数据类型时，则获得第三网页，其中，所述第一网页和所述第三网页具有相同的属性信息。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：