[发明专利]一种脚本生成方法与装置

说明书

技术领域

本申请涉及计算机技术领域，尤其涉及一种脚本生成方法与装置。

背景技术

在现有技术中，由于网络爬虫可以抓取网页中的文本内容，目前被广泛的应用于搜索、数据挖掘等领域中。网络爬虫可以抓取网页中的全部内容，也可以抓取网页中的部分内容。

目前，若要利用网络爬虫去抓取目标网页中的目标内容，工作人员需先编写抓取目标内容的脚本，网络爬虫才能够根据该脚本，抓取到目标内容。

例如，若现在想要利用网络爬虫抓取如图1中所示的网页中的商品的价格信息，即“价钱：$149.99”。那么，工作人员便要通过浏览器访问相应的网页，然后在该网页对应的网页代码中查找“价钱：$149.99”对应的网页代码，即“价钱：$149.99”对应的最小的文档对象模型(Document Object Model，dom)树。

其中，“价钱：$149.99”对应的最小的dom树如下所示：

<div id＝"kfs_family_16"class＝"kfs-inner-container kfs-selected"style＝"width:20％；left:40％；background-image:url(https://images-na.ssl-images-amazon.com/ima ges/G/01/kindle/stripe/kfs-selector-2._CB386844303_.gif)；"onClick＝"javascript:(function(){})()">

<a class＝"kfs-current kfs-link">

<imgclass＝"kfs-img"style＝"margin-top:9px；"src＝"https://images-na.ssl-images-amazon.com/images/G/01/kindle/dp/2015/848470/famnav/fs-m._CB292709393_.p ng"/>

<br/>

Fire HD 8

<br/>

<span class＝"kfs-price">

$149.99

</span>

<br/>

</a>

<divid＝"kfs_popover_content_16"＝class＝"kfs-popover-container"style＝"displ ay:none；">Incredibly thin and light,designed for entertainment</div>

在查找到“价钱：$149.99”对应的最小的dom树后，获取“价钱：$149.99”对应的超文本标记语言(HyperText Markup Language，HTML)属性值信息，比如id＝"kfs_family_16"、class＝"kfs-price"等。工作人员根据该些属性值信息，编写出包含该些HTML属性值信息的抓取脚本。将编写好的脚本以及该商品对应的网页代码一并送入解析引擎中，以使得解析引擎可以根据抓取脚本中的id以及class，查找到“价钱：$149.99”对应的最小的dom树，并在该最小的dom树中提取出“价钱：$149.99”这一价格信息。

虽然通过上述方法，网络爬虫能够抓取网页中的内容，但是需要人工编写抓取脚本，效率较低。

发明内容

本申请实施例提供一种脚本生成方法与装置，用于解决现有技术中利用网络爬虫抓取网页内容时，人工编写抓取脚本效率较低的问题。

本申请实施例采用下述技术方案：

一种脚本生成方法，包括：

确定用户在显示的网页中选定的网页内容；

根据确定的网页内容，确定所述网页内容对应的网页代码；

根据所述网页代码，生成抓取脚本。

一种脚本生成装置，包括：

内容确定模块，确定用户在显示的网页中选定的网页内容；

代码确定模块，根据确定的网页内容，确定所述网页内容对应的网页代码；

脚本生成模块，根据所述网页代码，生成抓取脚本。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：