[发明专利]正确数据的获取方法和装置

说明书

技术领域

本发明涉及数据处理技术领域，特别涉及一种正确数据的获取方法和装置。

背景技术

数据处理包括对数据的采集、存储、检索、加工、变换和传输等操作。数据的形式可以是数字、文字、图形或声音等。数据经过解释并赋予一定的意义之后，便成为信息。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据，即正确的数据。

例如，对于同一个数据，由于数据传输中的差错等原因，用户所得到的内容可能会有多个版本，则需要从这多个版本中确定出一个正确的版本，得到正确的数据。然而，对如何确定数据的正确性，目前还没有提出较合适的处理方案。

发明内容

本发明提供的一种正确数据的获取方法和装置，以解决现有无法确定数据正确性的问题。

为达到上述目的，本发明实施例采用了如下技术方案：

本发明实施例提供了一种正确数据的获取方法，根据获取到的数据源建立索引数据库，该方法包括：

接收用户的搜索请求，所述搜索请求中携带至少两个关键词，所述关键词属于同一数据的候选项；

在索引数据库中分别搜索所述关键词，并统计与关键词所匹配的数据的搜索结果数目；

比较所述搜索结果数目，将具有最大搜索结果数目的关键字作为获取到的正确的数据。

本发明实施例还提供了一种正确数据的获取装置，该装置包括

数据库建立单元，用于根据获取到的数据源建立索引数据库；

搜索请求接收单元，用于接收用户的搜索请求，所述搜索请求中携带至少两个关键词，所述关键词属于同一数据的候选项；

搜索统计单元，用于在索引数据库中搜索分别所述关键词，并统计与关键词所匹配的数据的搜索结果数目；

比较确认单元，用于比较所述搜索结果数目，将具有最大搜索结果数目的关键字作为获取到的正确的数据。

本发明实施例的有益效果是：

本发明实施例通过对数据使用和传输的原理进行分析，发现了一种数据处理的规律，该规律为数据的交互是建立在一套规范、统一的原则上且绝大部分所使用的数据都符合相同原则，从而通过对数据的搜索和对搜索结果的统计能够得到正确的数据。

进一步的，本方案能够直接利用互联网上的网页信息生成所需的索引数据库，能够快速有效地建立起具有一定规模的索引数据库，保证了正确获取数据的实现。

附图说明

图1为本发明实施例一提供的一种正确数据的获取方法流程示意图；

图2为本发明实施例二提供的一种正确数据的获取装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

参见图1，为本发明实施例一提供的一种正确数据的获取方法，具体如下：

11：根据获取到的数据源建立索引数据库。

进一步的，本实施例中的所述数据源是利用互联网中的网页数据得到的。将互联网中的各种资源纳入索引数据库，保证数据库的规模并便于数据库的建立。

具体的，本实施例采用一种网页抓取技术进行网页的自动收集，从而获得上述数据源。在抓取开始时，先选取一个初始网页，作为当前网页。将初始网页的数据存储至数据源中，并检测出初始网页上的所有统一资源定位符(URL)，访问所述URL所对应网页(如第一网页至第三网页)并将该网页的数据存储至数据源中。下一次抓取时，将第一网页至第三网页都作为当前网页，分别检测出当前网页上的所有URL，访问所述URL所对应网页并将该网页的数据存储至数据源中。

即本实施例提供的网页收集方案能自动访问互联网，并沿着当前网页中的所有URL爬到其它网页，抓取到这些网页并保存这些网页的数据。重复上述抓取过程，把爬过的所有网页的数据收集到数据源中。

在一次网页收集操作结束，获取到数据源之后，本实施例还能够在后续对所获取的数据源进行更新，更新的具体操作包括：

获取当前网页的更新标签信息，所述更新标签信息指示网页的更新时间。例如，在执行网页抓取之前，向服务器发送超文本传输协议(HTTP)请求，服务器返回HTTP响应，该HTTP响应中包括网页的更新标签信息，从而获知网页的更新时间。