[发明专利]一种面向视力残疾人网页内容无障碍访问的图片自动描述方法

说明书

技术领域

本发明涉及图片自动描述领域，特别是涉及一种面向视力残疾人网页内容无障碍访问的图片自动描述方法。

背景技术

根据2006年4月第二次全国残疾人抽样调查，中国现有视力残疾人1691万，其中单项视力残疾者1233万，多重残疾人中有视力残疾者458万。世界卫生组织设在日内瓦的防盲和防聋规划主任Thylefore博士指出：中国是世界上盲人最多的国家，占全世界盲人的18％。每年在中国约有45万人失明，几乎每分钟就会出现一例盲人。如果假设目前的趋势继续保持不变，到2020年预期中国盲人将增加4倍。

当前视力残疾人主要使用读屏软件访问网页内容，在网络信息获取方面，尤其是网页图片内容的获取上存在着诸多困难：

1)读屏软件带宽窄，只能支持顺序信息访问；

2)缺乏视觉信息辅助，仅从图片替代文本描述理解图片内容本身就是一件困难的事情；

3)很多网页图片缺乏替代文本，已有的替代文本描述中则往往缺乏有用的信息。

现有的图片自动标注技术，目的在于为图片产生数个相关的标注词，这些标注词能有效辅助image分类、检索，但是在帮助盲人理解图片内容上的作用是有限的。现有的图片标注技术还无法实现直接从一般图片内容中自动提取高层语义信息。但是我们通过对视力残疾人上网情况调研发现，视力残疾人所经常访问的网页一般具有丰富的文本信息，与图片相关的内容描述也往往蕴含在网页的文本中。因此，根据视障人群的对图片信息获取的需求以及视力残疾人上网过程中访问网页的特点，设计并开发出一种有效的网络文本插图自动描述方法，必将提高广大视障人群的上网体验，缩小与常人上网获取信息的差距。

发明内容

本发明的目的在于提供一种面向视力残疾人的网络文本插图自动描述方法，帮助视障人群为代表的用户获取网络文本中的插图信息。

本发明解决其技术问题采用的技术方案如下：

1

一种面向视力残疾人网页内容无障碍访问的图片自动描述方法，该方法的步骤如下：

1)抓取网络上带标签的图片作为已标注图片的样本库；

2)对已标注图片样本库中的图片标签进行排序以实现标签去噪；

3)利用样本库中的相似图片对文本中的插图产生标签推荐词；

4)结合标签推荐词在图片所处文本位置的上下文中抽取句子以作为图片的描述。

所述抓取网络上带标签的图片作为已标注图片的样本库，是从当前一些图片分享网站抓取图片及其对应标签，作为图片标签推荐的样本库。

所述对已标注图片样本库中的图片标签进行排序以实现标签去噪，其步骤如下：

1)采用邻居投票的方式对图片标签进行排序，作为排序初始结果；

2)根据用户、标签和图片三者之间的关系构建图排序算法中的跳转概率矩阵；

3)把标签排序初始结果作为图排序过程中的标签偏好(Preference)，运用图排序算法对初始排序结果进行排序精化。

所述利用样本库中的相似图片对文本中的插图产生标签推荐词，是指从样本库中选取与文本插图特征相似的图片，采用相似图片排序靠前的标签作为推荐标签的候选词，为文本插图产生推荐标签。

所述结合标签词在图片上下文中抽取句子以作为图片的描述，其步骤如下：

1)对图片上下文的文本进行分词，提高名词的权重，提高标签推荐词及其同义词匹配词汇的权重；

2)对图片上下文的句子进行权重计算，根据三个方面来确定句子的权重：

a)句子词汇的权重总和，为避免句子过长，除以句子的词汇数；

b)句子所处位置，与图片所处位置越近，句子权重系数越大；

c)句子的线索词，句子中包含与图相关的线索词，则句子权重系数越大；

3)输出权重最大的1-2个句子作为图片描述。

本发明与背景技术相比，具有的有益的效果是：

本发明是一种全新的面向视力残疾人的网络文本插图自动描述方法。标签排序、标签推荐以及自动文摘技术，对图片产生一段简短扼要的描述，相对传统的图片自动标注技术只产生数个标注词，能有效地提升视力残疾人对网络文本插图的理解。

2

附图说明

附图1是本发明的系统架构图。

具体实施方式

以下结合附图和实施例对本发明作进一步的说明。