[发明专利]一种面向视力残疾人网页内容无障碍访问的图片自动描述方法

权利要求书

1.一种面向视力残疾人网页内容无障碍访问的图片自动描述方法，其特征在于该方法的步骤如下：

1)抓取网络上带标签的图片作为已标注图片的样本库；

2)对已标注图片样本库中的图片标签进行排序以实现标签去噪；

3)利用样本库中的相似图片对文本中的插图产生标签推荐词；

4)结合标签推荐词在图片上下文中抽取句子以作为图片的描述。

2.根据权利要求1所述的一种面向视力残疾人网页内容无障碍访问的图片自动描述方法，其特征在于：所述抓取网络上带标签的图片作为已标注图片的样本库，是从图片分享网站抓取图片及其对应标签，作为图片标签推荐的样本库。

3.根据权利要求1所述的一种面向视力残疾人网页内容无障碍访问的图片自动描述方法，其特征在于：对已标注图片样本库中的图片标签进行排序以实现标签去噪，其步骤如下：

1)采用邻居投票的方式对图片标签进行排序，作为排序初始结果；

2)利用用户、标签和图片三者之间的关系，构建用户和标签、标签和图片之间的有向图，该图的边分别代表着用户对标签的标注关系、标签之间的相似度和图片之间的相似度，根据相似度，得到该有向图的矩阵表示W；

3)将原始的标签顺序作为标签偏好的初始值，利用随机跳转概率，对标签排序结果进行排序精化，排序精化可以有以下三种选项：

a)利用第二步得到的有向图，使用图排序算法进行排序精化，假设某一标签的排序分数为x_i，则该排序分数可通过其近邻计算加权平均得到，即i_x＝λ+∑_jw_ijx_j，其中x_j代表近邻标签分数，λ是代表对该标签排序分数的预估常数，w_ij为第二步得到的有向图中定点之间的边权重；

b)利用图片相似度信息，对图片的标签进行投票，即统计在相似图片中某标签出现的频率，从而得到标签的排序精化；

c)使用概率模型对图片和标签之间的关系进行建模，并最终对标签进行排序精化；

4.根据权利要求1所述的一种面向视力残疾人网页内容无障碍访问的图片自动描述方法，其特征在于：利用样本库中的相似图片对文本中的插图产生标签推荐词，是指从样本库中选取与文本插图特征相似的图片，采用相似图片排序靠前的标签作为推荐标签的候选词，为文本插图产生推荐标签。

5.根据权利要求1所述的一种面向视力残疾人网页内容无障碍访问的图片自动描述方法，其特征在于：结合标签词在图片上下文中抽取句子以作为图片的描述，其步骤如下：

1)对图片上下文的文本进行分词，提高名词的权重，提高标签推荐词及其同义词匹配词汇的权重；

2)对图片上下文的句子进行权重计算，根据三个方面来确定句子的权重：

a)句子词汇的权重总和，为避免句子过长，除以句子的词汇数；

b)句子所处位置，与图片所处位置越近，句子权重系数越大；

c)句子的线索词，句子中包含与图相关的线索词，则句子权重系数越大；

3)输出权重最大的1-2个句子作为图片描述。