“逆文档频率”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果435957个，建议您升级VIP下载更多相关专利

[发明专利]新词召回方法和领域词向量表生成方法及其装置-CN202010858432.1在审
发明人：胡祖杰 -专利权人：中国电信股份有限公司
申请日： 2020-08-24 - 公布日： 2022-02-25 - 主分类号： G06F40/247 文献下载
摘要：提供了一种新词召回方法，包括：接收特定领域的一个或多个文档；对每个文档进行分词；计算通过分词发现的新词的左右熵和互信息熵，并基于左右熵和互信息熵获得新词的信息熵得分；基于所述文档以及通用文档，计算每个新词在文档中的词频以及在所述文档和通用文档中的逆文档频率，并基于词频和逆文档频率获得每个新词在每个文档中的词频‑逆文档频率得分；计算每个新词在所有文档中的总词频‑逆文档频率得分；基于每个新词的信息熵得分和总词频‑逆文档频率得分，获得每个新词的领域词得分；以及根据领域词得分对所有新词进行排序
新词召回方法领域量表生成及其装置

[发明专利]一种基于子词编码和逆文档频率遮蔽的中文预训练方法-CN202110480038.3在审
发明人：邱锡鹏;邵云帆 -专利权人：复旦大学
申请日： 2021-04-30 - 公布日： 2022-11-01 - 主分类号： G06F40/216 文献下载
摘要：本发明提供了一种基于子词编码和逆文档频率遮蔽的中文预训练方法，用于中文语言模型的预训练，包括以下步骤：步骤1，收集中文语料，根据语料通过迭代算法学习一元语言模型，得到词典和出现概率；步骤2，基于一元语言模型对中文语言模型的输入文本进行子词编码，得到子词元素序列；步骤3，计算子词元素序列中每个子词元素的逆文档频率；步骤4，通过逆文档频率遮蔽预测任务来进行预训练，将逆文档频率最高的子词元素进行遮蔽，中文语言模型通过对被遮蔽的子词元素进行预测来进行预训练；步骤5，将语料输入中文语言模型，经过子词编码和计算逆文档频率后通过逆文档频率遮蔽预测任务进行预训练，在计算训练后得到训练好的中文语言模型。
一种基于编码文档频率遮蔽中文训练方法

[发明专利]文档中无效词的识别方法及装置-CN201610957268.3有效
发明人：彭际群;何慧梅;王峰伟 -专利权人：阿里巴巴集团控股有限公司
申请日： 2016-10-27 - 公布日： 2020-06-30 - 主分类号： G06F40/279 文献下载
摘要：本申请涉及计算机技术领域，尤其涉及一种文档中无效词的识别方法及装置，在一种文档中无效词的识别方法中，首先对识别无效词的文档进行预处理，得到与该文档对应的词语集合；然后根据预设的语料库，确定词语集合中各个词语的平均位置以及逆文档频率；之后根各个词语的平均位置、逆文档频率以及相关词语的逆文档频率，确定各个词语的目标权重值；最后根据各个词语的目标权重值，识别第一文档中的无效词。也即本申请是根据词语的平均位置以及逆文档频率，来从第一文档中识别无效词，由此，可以提高无效词识别的效率。
文档无效识别方法装置

[发明专利]基于文本相关性的文本匹配方法、系统和电子设备-CN202110839643.5在审
发明人：王兆元;郭艳波;李青龙 -专利权人：北京智慧星光信息技术有限公司
申请日： 2021-07-23 - 公布日： 2021-10-29 - 主分类号： G06F16/33 文献下载
摘要：本发明公开了一种基于文本相关性的文本匹配方法、系统和电子设备，该方法包括：获取语料关键词逆文档频率和每一个语料文本包含的语料关键词个数；将语料文本、语料关键词和对应的逆文档频率得到映射词典；根据待查询文本得到待查询文本关键词；将待查询文本关键词进行词频统计得到词频数统计值；根据待查询关键词和每一个语料文本中包含的语料关键词得到待查询关键词的文档权重值；根据待查询关键词和逆文档频率映射词典得到待查询关键词逆文档映射频率；根据词频数统计值、文档权重值和待查询关键词逆文档映射频率得到相关性分数值；根据相关性分数值得到相关性评分结果；根据相关性评分结果得到文本匹配结果。
基于文本相关性匹配方法系统电子设备

[发明专利]敏感词词典生成方法、装置及存储介质和电子设备-CN201811501581.1在审
发明人：陈希;杜永青 -专利权人：北京沃东天骏信息技术有限公司
申请日： 2018-12-10 - 公布日： 2020-06-19 - 主分类号： G06F40/284 文献下载
摘要：方法包括：将每个非敏感用户的每个交互文档以及每个敏感用户在距离当前时刻第一预设时长之前的每个交互文档分别作为一个负样本；将每个敏感用户在最近第二预设时长内的每个交互文档分别作为一个正样本；对于在正负样本集合中出现的每个词，计算该词对正样本集合的逆文档频率以及该词对负样本集合的逆文档频率；对于在正负样本集合中出现的每个词，根据该词对正样本集合的逆文档频率以及该词对负样本集合的逆文档频率，计算该词的逐点KL散度，若计算出的逐点
敏感词典生成方法装置存储介质电子设备

[发明专利]一种基于词频与逆文档频率的工控系统异常诊断信息识别方法-CN202010733364.6在审
发明人：李少森;梁钰华;孙豪;黄剑湘;杨光;李浩;张启浩;任君;杨铖;丁丙侯 -专利权人：中国南方电网有限责任公司超高压输电公司昆明局
申请日： 2020-07-27 - 公布日： 2020-10-30 - 主分类号： G05B23/02 文献下载
摘要：本发明揭示一种基于词频与逆文档频率的工控系统异常诊断信息识别方法，包括：建立诊断命令的响应语料库；再次向被测系统发送诊断命令，获得第N+1份回显报文；对所有回显报文进行过滤停用词、分词处理；利用TF‑IDF词频与逆文档频率算法，计算所有回显报文的每组文本列表中每个词的逆文档频率IDF；设置最低逆文档频率阈值IDFmin，删除不大于IDFmin的词；将过滤的N+1份回显报文的文本列表建立词组列表V，并计算出词频值
一种基于词频文档频率系统异常诊断信息识别方法

[发明专利]个人大数据管理中层次概念向量化增量处理方法-CN201611154347.7有效
发明人：杨良怀;汪庆顺;庄慧;范玉雷;龚卫华;方文菲 -专利权人：浙江工业大学
申请日： 2016-12-14 - 公布日： 2020-02-21 - 主分类号： G06F16/33 文献下载
摘要：2)用户操作概念树时执行：2.1)获取被操作节点及其父节点的概念向量及词总数；2.2)依据公式修改父节点的概念向量；2.3)以父节点为被操作节点从2.1)开始递归执行直到根节点；2.4)更新逆文档频率向量3)误差累计到一定程度执行：3.1)获取当前逆文档频率向量和逆文档频率初始值向量；3.2)批量更新向量空间中所有向量权重；3.3)更新逆文档频率初始值向量。
个人数据管理层次概念量化增量处理方法

[发明专利]一种基于主题语义信息的关键词向量化方法及其应用-CN202111659209.5在审
发明人：戴华;胡正;刘源龙;陆佳行;杨庚;陈燕俐 -专利权人：南京邮电大学
申请日： 2021-12-30 - 公布日： 2022-04-08 - 主分类号： G06F40/279 文献下载
摘要：本发明公开一种基于主题语义信息的关键词向量化方法及其应用，具体包括：首先利用Sentence‑BERT模型为每个文档生成具有文档语义信息的向量；再通过UMAP降维算法对生成的文档向量进行降维并突显局部语义特征；然后，在降维后的文档向量上进行HDBSCAN主题聚类，并将每个文档归类到一个或多个主题中；最后，利用文档和主题之间的关系，计算主题中每一个关键词的主题词频率‑逆主题频率(TTF‑ITF)得分，对该关键词与每个主题的主题词频率‑逆主题频率(TTF‑ITF)得分进行合并，生成最终的关键词向量。本发明实现高精度表征主题语义信息的关键词向量化，可应用于主题词提取、文本分类和文档检索。
一种基于主题语义信息关键词量化方法及其应用

[发明专利]基于语义的文档聚类方法、系统及计算机设备-CN202010576446.4有效
发明人：余显学 -专利权人：平安银行股份有限公司
申请日： 2020-06-22 - 公布日： 2022-08-12 - 主分类号： G06F16/33 文献下载
摘要：本发明涉及人工智能技术领域，提供了一种基于语义的文档聚类方法，包括：获取输入文档并对其进行预处理；对处理后的输入文档中所包含的各个单词进行词频统计和逆文档频率计算，构建词频‑逆文档矩阵；将词频统计中所采用的单词作为对象输入至预先存储的自然语言处理模型中，得到与词频‑逆文档矩阵所适配的相似度矩阵；根据相似度矩阵对词频‑逆文档矩阵进行语义传播，得到第二词频‑逆文档矩阵；对第二词频‑逆文档矩阵进行双向聚类，得到至少一个双聚类簇，双聚类簇包含一个文档簇和一个单词簇，根据单词簇中所包含的特征词对文档簇中的各个文档进行标签赋予。本发明解决了现有技术中文档聚类结果精确度不高的问题。本发明还涉及区块链领域，其中的自然语言处理模型可存储在区块链上。
基于语义文档方法系统计算机设备

[发明专利]一种基于MapReduce的文档检索方法及系统-CN201510983025.2有效
发明人：胡懋地 -专利权人：航天信息股份有限公司
申请日： 2015-12-24 - 公布日： 2020-12-22 - 主分类号： G06F16/93 文献下载
摘要：本发明公开了提供一种文档检索方法，所述方法包括：获取查询语句；对所述查询语句进行分词划分以获得彼此不同的多个词语；计算所述多个词语中每个词语的词频逆文档频率TF‑IDF；对多个词语中每个词语进行向量转换以获得词向量V；针对文档库中的每个文档，利用词频逆文档频率TF‑IDF和词向量V匹配方式，计算每个文档与所述待查询语句的每个词语的多个匹配度；计算所述多个匹配度中的最大值，以获得每个文档与所述待查询语句的每个词语的最大匹配度；以及将每个文档与查询语句中每个词语的最大匹配度求和以获得每个文档与查询语句的匹配度。
一种基于 mapreduce 文档检索方法系统

[发明专利]一种基于机器学习的舆情监测方法、设备及介质-CN202310763461.3在审
发明人：李汉铮;单震;谢传家 -专利权人：浪潮卓数大数据产业发展有限公司
申请日： 2023-06-26 - 公布日： 2023-10-24 - 主分类号： G06F16/35 文献下载
摘要：方法包括：获取预设网络平台上的待监测舆情数据；将所述待监测舆情数据转换为词频矩阵，并利用所述词频矩阵计算所述待监测舆情数据中每个词对应的文档频率与逆文档频率；基于所述文档频率与所述逆文档频率，通过主题模型分析算法对所述待监测舆情数据进行主题识别
一种基于机器学习舆情监测方法设备介质

[发明专利]文本摘要生成方法、装置及计算机设备-CN202211434965.2在审
发明人：王梦圆 -专利权人：湖南大学
申请日： 2022-11-16 - 公布日： 2023-05-09 - 主分类号： G06F16/34 文献下载
摘要：本发明涉及一种文本摘要生成方法、装置及计算机设备，方法包括：获取待生成摘要的源文档并对所述源文档进行预处理，得到目标源文档；对所述目标源文档中各个单词进行计算，得到各单词的词频逆文档频率值；根据预设训练词向量将所述目标源文档中各个单词转换为单词特征向量；根据CNN模型和LSTM模型对所述目标源文档进行特征提取和向量拼接，得到所述目标源文档的句子特征向量；根据所述目标源文档构建词袋向量，并将所述词袋向量输入至获取的目标NTM模型，得到主题特征向量；将所述单词特征向量、所述句子特征向量、所述主题特征向量及各单词的词频逆文档频率值输入到获取的目标文本摘要生成模型，生成目标文本摘要。
文本摘要生成方法装置计算机设备

[发明专利]一种高效的短文本相似性确定方法和装置-CN202210078359.5在审
发明人：刘东亚 -专利权人：支付宝(杭州)信息技术有限公司
申请日： 2022-01-24 - 公布日： 2022-04-29 - 主分类号： G06K9/62 文献下载
摘要：本公开的一方面涉及一种高效的短文本相似性确定方法，包括对语料库中的短文本进行分词以获得对应的词序列；基于所述语料库中的短文本总数确定惩罚，所述惩罚随所述语料库中的短文本总数增大而减小；确定所述词序列中每个词的词频和调整后的逆文档频率，其中所述调整后的逆文档频率基于所述惩罚来计算；用所述调整后的逆文档频率对每个词的词频进行加权；组合所述词序列中每个词的加权词频以确定所述短文本的词频向量；以及基于所述词频向量来确定所述短文本与其他短文本的相似性
一种高效短文相似性确定方法装置

[发明专利]关键词提取方法和装置及设备-CN202110277699.6在审
发明人：荣继 -专利权人：北京锐马视讯科技有限公司
申请日： 2021-03-15 - 公布日： 2022-09-20 - 主分类号： G06F40/289 文献下载
摘要：本申请涉及一种关键词提取方法和装置，其中方法包括：读取待提取关键词的文本文件，使用分词器对文本文件中的内容进行分词，得到文本文件中的词语；基于预料库统计各词语的逆文档频率；对逆文档频率进行平滑处理，并根据平滑处理后的逆文档频率
关键词提取方法装置设备

[发明专利]文档的分类方法和装置-CN201610519971.6有效
发明人：丁希晨 -专利权人：北京奇艺世纪科技有限公司
申请日： 2016-07-04 - 公布日： 2019-06-28 - 主分类号： G06F16/35 文献下载
摘要：本发明实施例提供了一种文档的分类方法和装置，该方法包括：通过训练深度神经网络语言模型将待分类文档中的每个分词转换为向量；通过对向量聚类生成相似分词集合；根据特征的集合将待分类文档转换为特征频率逆文档矩阵；通过计算任意两个待分类文档的向量间的相似度，将特征频率逆文档矩阵转换为层次聚类树；基于预设的终止条件对层次聚类树在不同高度进行动态切割，得到分类文档。本发明在文档分类时考虑到了分词在特定语境中的上下文信息，从而使得每类文档在语义理解度和语义识别度上均较高；并且，基于预设的终止条件来对层次聚类树进行不同高度的切割，避免了每类文档中文档个数差异大的问题，使得文档的分类更加合理。
文档分类方法装置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条