[发明专利]一种基于图片构建资源稀缺语言可比语料库的方法及系统

权利要求书

1.一种基于图片构建资源稀缺语言可比语料库的方法，其特征在于，包括：

S110，下载资源稀缺语言的网页，并作为资源稀缺语言文本，所述网页包括文本中的图片；

S120，搜索包含与所述资源稀缺语言文本相同或相似图片的资源丰富语言的网页，作为资源丰富语言文本；

S130，对所述资源稀缺语言和资源丰富语言的网页进行特征提取，所述特征包括：文本中的图片、文本发布时间、文本中的数字、时间及命名实体；

S140，基于所述特征计算具有相同或相似图片的资源稀缺语言和资源丰富语言网页的相似度值；

S150，选取相似度值最高的资源丰富语言文本作为资源稀缺语言文本的可比文本；

S160，重复S120至S150，直至所有含有图片的资源稀缺语言网页找到资源丰富语言的可比文本为止。

2.根据权利要求1所述的方法，其特征在于，应用图片搜索方法搜索包含与所述资源稀缺语言文本相同或相似图片的资源丰富语言的网页。

3.根据权利要求1所述的方法，其特征在于，S140之前还包括以下步骤：

基于音译和简单意译对文本中的数字、时间以及命名实体翻译。

4.根据权利要求1所述的方法，其特征在于，所述基于所述特征计算具有相同或相似图片的资源稀缺语言和资源丰富语言网页的相似度，具体是基于所述特征根据径向基函数计算具有相同或相似图片的资源稀缺语言和资源丰富语言网页的相似度：

其中，x_id和y_jd分别是资源稀缺语言文本i和资源丰富语言文本j的第d个特征值，β_d是第d个特征的权重，σ为函数的宽度参数,控制了函数的径向作用范围。

5.根据权利要求4所述的方法，其特征在于，所述文本相似度特征的权重通过以下方式获得：

在实验过程中，根据文本中的图片、文本发布时间、文本中的时间、数字以及命名实体在资源稀缺语言网页和资源丰富语言网页中的相似度情况，分别赋予不同的权重值。

6.一种基于图片构建资源稀缺语言可比语料库的系统，其特征在于，包括：

下载模块，用于下载资源稀缺语言的网页，并作为资源稀缺语言文本，所述网页包括文本中的图片；

搜索模块，用于搜索包含与所述资源稀缺语言文本相同或相似图片的资源丰富语言的网页，作为资源丰富语言文本；

提取模块，对所述资源稀缺语言和资源丰富语言的网页进行特征提取，所述特征包括：文本中的图片、文本发布时间、文本中的数字、时间及命名实体；

计算模块，基于所述特征计算具有相同或相似图片的资源稀缺语言和资源丰富语言网页的相似度值；

选取模块，选取相似度值最高的资源丰富语言文本作为资源稀缺语言文本的可比文本。

7.根据权利要求6所述的系统，其特征在于，所述搜索模块，具体用于应用图片搜索方法搜索包含与所述资源稀缺语言文本相同或相似图片的资源丰富语言的网页。

8.根据权利要求6所述的系统，其特征在于，所述系统还包括：

翻译模块，用于基于音译和简单意译对文本中的数字、时间以及命名实体翻译。

9.根据权利要求6所述的系统，其特征在于，所述计算模块，具体用于基于所述特征根据径向基函数计算具有相同或相似图片的资源稀缺语言和资源丰富语言网页的相似度：

其中，x_id和y_jd分别是资源稀缺语言文本i和资源丰富语言文本j的第d个特征值，β_d是第d个特征的权重，σ为函数的宽度参数,控制了函数的径向作用范围。

10.根据权利要求9所述的系统，其特征在于，所述文本相似度特征的权重通过以下方式获得：

在实验过程中，根据文本中的图片、文本发布时间、文本中的时间、数字以及命名实体在资源稀缺语言网页和资源丰富语言网页中的相似度情况，分别赋予不同的权重值。