[发明专利]一种基于软件定义的网络分布式图片搜索引擎框架

说明书

技术领域

本发明涉及一种基于软件定义的网络分布式图片搜索引擎框架

背景技术

网络爬虫，也称网络蜘蛛、网络机器人，是一个自动提取网页的程序，它从因特网上下载网页，是搜索引擎的重要组成部分。网络爬虫利用标准的HTTP协议，根据超级链接和Web文档检索的方法遍历因特网信息空间。

目前搜索引擎只针对文本进行搜索，还不能对音乐、图片和视频等多媒体文件进行搜索，原因主要是多媒体数据量太大；如何索引多媒体文件；进而对处理过的多媒体文件检索。现在因特网上有大量的多媒体文件，特别是社交网站和多媒体分享的兴起，需要对多媒体文件进行精准检索。

因特网上有数千种不同的数据类型，HTTP给每种要通过Web传输的对象都打上了名为MIME类型的数据格式标签(常见图片格式：image/jpeg，image/gif)。统一资源定位符(URL)是资源标识符最常见的形式。URL描述了一台特定服务器上某资源的特定位置。元素文件(METAFILE)可提供有关页面的元信息，如针对搜索引擎和更新频度的描述和关键词，可针对元素的关键词进行索引。

UDP是OSI参考模型中一种无连接的传输层协议，它主要用于不要求分组顺序到达的传输中，分组传输顺序的检查与排序由应用层完成，提供面向事务的简单不可靠信息传送服务。网络图片可通过UDP进行下载，因为UDP具有TCP所望尘莫及的速度优势。

基于关键帧的网络视频格式文件摘要提取，计算量非常大，实时要求很难实现。而针对网络视频缩略图进行检索，是基于现有技术，一种可行的路径。

要对多媒体文件进行精准检索，首先要提供高可用的负载均衡服务器集群，存储标注的多媒体文件；其次要有一套分布式内存对象缓存系统，作为代理服务器，用于在动态系统中减少数据库负载，实现对多媒体文件的爬取索引；还可用软件定义网络(Software Defined Network，SDN)，其核心技术OpenFlow通过将网络设备控制面与数据面分离开来，从而实现了网络流量的灵活控制；最后利用关键词对图片格式文件进行检索，再对检索结果进行直方图的精准检索。

本发明提供了一种基于软件定义的网络分布式图片搜索引擎用户界面、检索排名、缓存爬取以及服务器集群框架，主干网络可运行在OpenFlow上，并且通过网络链接分布在全球各地的数据中心，提高广域线路的利用率。

发明内容

本发明的目的在于提供一种基于软件定义的网络分布式图片搜索引擎框架。本发明包括以下特征：

发明技术方案

1.一种基于软件定义的网络分布式图片搜索引擎框架，其具体步骤如下：

1)构建一套分布式内存对象缓存系统，作为代理服务器，用于在动态系统中减少数据库负载；

2)通过METAFILE的链路，实现对URL和直方图的提取及索引并建立URL与直方图映射；

3)构建高可用的负载均衡服务器集群，存储已索引的URL和直方图；

4)利用关键词或上传图片格式文件含关键词，对指向图片格式文件地址的URL进行检索；

5)对检索结果再进行直方图的精准检索，通过直方图与URL的映射，确定指向图片格式文件地址的URL，获得图片格式文件。

2.基于权利要求1的框架，主干网络可运行在OpenFlow上，并且通过网络链接分布在全球各地的数据中心，提高广域线路的利用率。

附图说明

图1是基于关键词和直方图的二级图片搜索引擎框架图；图2是一致性散列算法的原理图；图3是高可用的LVS集群拓扑结构图。

具体实施方式

这种基于软件定义的网络分布式图片搜索引擎框架，包括如下步骤：

1)构建一套分布式内存对象缓存系统，作为代理服务器见附图2，用于在动态系统中减少数据库负载；

2)通过METAFILE的链路，实现对URL和直方图的提取及索引并建立URL与直方图映射；

3)构建高可用的负载均衡服务器集群见附图3，存储已索引的URL和直方图；

4)利用关键词或上传图片格式文件含关键词，对指向图片格式文件地址的URL进行检索；

5)对检索结果再进行直方图的精准检索，通过直方图与URL的映射，确定指向图片格式文件地址的URL，获得图片格式文件；

6)主干网络可运行在OpenFlow上，并且通过网络链接分布在全球各地的数据中心，提高广域线路的利用率。