[发明专利]面向高并发检索系统的目录分发方法及网络架构

说明书

技术领域：

本发明成果可用于各种大中型多媒体信息检索系统中，降低硬件成本的 同时提高系统性能和可扩展性。通过构建P2P重叠网络，将用户常用的检索 信息组织成目录文件，并在该网络中传输，用户在进行检索时，仅获取本地 目录文件即可完成初步检索，从而极大的减轻了服务器的压力，改善用户体 验。本发明成果属于计算机网络技术领域。

背景技术

随着民众对视频节目创作热情的不断高涨，视频节目源的质量日益提高， 并倾向于通过互联网创作和分享，土豆网、优酷网等视频分享网站的迅速发 展证明了这一点。个人制作和发布媒体内容，不仅仅需要制作工具，还需要 海量的媒体素材。让用户准确、迅速地从海量素材中检索到自己想要的素材， 是多媒体信息检索系统需要解决的主要问题。

在很多大型的信息检索系统中，最完整最新的数据都存在于集中服务器 中，互联网不断扩大的规模，日益增长的用户群，以及Web2.0的兴起，对集 中式检索系统提出了新的要求，即

1)高性能和高可扩展性。大规模的访问量对服务的性能提出了非常高 的要求。更为重要的是，互联网受众的广泛性，使得成功的互联 网服务的访问量增长潜力和速度非常大，因此服务系统必须具有非 常好的可扩展性，以应付将来可能的服务增长。

2)支持高度并发的访问。高度并发的访问对服务的存储与并发能力提 出了很高的要求，当前主流的超标量和超流水线处理器能处理的并 发请求数是有限的，因为随着并发数的上升，进程调度的开销会很 快上升。

3)高可用性。互联网服务的全球性决定了其每天24小时都会有用户 访问，因此任何服务的停止都会对用户造成影响。

目前解决大型网站面临的高负载和高并发问题普遍采用高性能的服务 器、高性能的数据库、高效率的编程语言以及高性能的Web容器。然而这些 解决思路在一定程度上也意味着更大的投入，并且这样的解决思路没有很好 的扩展性。

对等网络(P2P)模型打破了传统的客户/服务器模式，它以用户为中心， 每个节点的地位都是相同的，既充当服务器为其他节点提供服务，同时也充 当客户机享用其他节点提供的服务。在P2P网络中，检索内容需要分布式存 储在各个peer节点中，但对于节点频繁加入退出的P2P网络，维护P2P网络 将占用peer节点的大部分系统资源。

本发明利用P2P的互服务性和高度可扩展性，结合集中式检索的高效性， 通过构建P2P重叠网络，将用户的检索请求分布到peer节点中，从而减轻集 中式检索服务器的访问压力，降低成本。

发明内容

本发明根据用户视频检索的行为特点，提出了一种将基于服务器的集中 式检索与基于目录分发的分布式检索相结合的检索方式，充分利用各个用户 节点的服务能力，在用户节点资源空闲时完成目录文件一致性更新，确保用 户在检索时得到与检索服务器一致的数据。用户在进行检索时，首先通过读 取本地目录文件寻找所需要的检索结果，仅当目录文件不能满足用户需求时 采用基于检索服务器的集中式检索，从而既保证了检索响应时间，改善用户 体验，又保证检索结果的准确性与完整性。

本发明提供了面向高并发检索系统的网络架构，如附图1，其特征在于， 由以下组成：

该网络架构的上层为集中式，下层为非结构化纯P2P网络；P2P网络根据 索引服务器服务能力分为若干区域，每个区域包括超级节点、备份超级节点、 若干普通节点；

1、上层的集中式包括检索服务器，索引服务器，存储系统；

RS(Retrieval Server)：检索服务器，是被检索数据的发布源，拥有最新版 本的数据，负责响应用户检索请求以及生成目录文件。

IS(Index Server)：索引服务器，至少记录了所有区域的物理位置信息， 新加入节点根据区域信息快速定位所属区域。

SS(Store System)：存储系统。至少存储了所需检索的媒体素材文件。 每个媒体文件具有唯一的文件存储ID。用户在检索到所需内容后，通过检索 提供的文件存储ID到存储系统中下载。

2、下层的非结构化纯P2P网络包括超级节点、备份超级节点、普通节点。

SP(Super Peer)：超级节点。P2P网络的每个区域中会根据选举算法动态 选举出一个优先级最高的节点作为超级节点，它代表了一个区域，SP至少包 括以下职责：