“曹六一”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果15个，建议您升级VIP下载更多相关专利

[发明专利]数据采集方法及装置、计算机可读存储介质-CN201811283037.4有效
发明人：李宇涵;曹六一;张丹;于晓明 -专利权人：新方正控股发展有限责任公司;北京北大方正电子有限公司
申请日： 2018-10-31 - 公布日： 2023-09-05 - 主分类号： G06F16/958 文献下载
摘要：本发明提供一种数据采集方法及装置、计算机可读存储介质。该方法包括：调度模块获取调度模板中的调度信息，所述调度模板以动态模板语言编写并存储，然后，所述调度模块根据所述调度信息，生成网络请求，从而，下载模块根据所述网络请求，下载网页源码，进而，解析模块利用解析模板处理所述网页源码，得到目标数据，所述解析模板与所述调度模板相对应。本发明的方法，提高了数据采集过程的灵活性与数据采集效率。
数据采集方法装置计算机可读存储介质

[发明专利]集群任务的处理方法、装置、设备和存储介质-CN201911423623.9有效
发明人：张学颖;曹六一;张丹 -专利权人：北大方正集团有限公司;北京北大方正电子有限公司
申请日： 2019-12-31 - 公布日： 2023-05-26 - 主分类号： G06F9/50 文献下载
摘要：本申请提供一种集群任务的处理方法、装置、设备和存储介质。该方法包括：上层调度模块通过获取从第一时刻至当前的任务失败量，判断在该时段中，任务失败量是否满足第一预设条件，进而，动态调整最大允许并发量，实现对对采集任务的合理调度，避免高并发导致的分布式采集集群访问压力过高。上层调度模块还可以通过获取预设时间间隔内的任务失败量和当前任务并发量，判断在该时段中，任务失败量是否满足第二预设条件，进而，动态调整最大允许并发量，减少分布式采集集群资源浪费。
集群任务处理方法装置设备存储介质

[发明专利]数据采集方法、装置及存储介质-CN201811240829.3有效
发明人： 曹六一;张丹 -专利权人：北大方正集团有限公司;北京北大方正电子有限公司
申请日： 2018-10-24 - 公布日： 2022-05-10 - 主分类号： H04L67/1008 文献下载
摘要：本发明提供一种数据采集方法、装置及存储介质，通过调度节点将调度任务发送给总控节点，总控节点接收各数据采集节点发送的运行状态信息，并根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各数据采集节点的运行状态信息，将调度任务分配给数据采集节点，以使数据采集节点执行调度任务。通过总控节点统一管理各数据采集节点，为每一数据采集节点均衡负载，提高数据采集的响应能力与机器资源使用率，且数据采集节点可分布在不同的机房中，充分利用多机房的带宽与多IP地址优势，且支持节点的动态扩容与收缩。
数据采集方法装置存储介质

[发明专利]数据搜索方法、装置、介质及产品-CN202111053818.6在审
发明人：杨飞;曹六一;张丹 -专利权人：北京北大方正电子有限公司
申请日： 2021-09-09 - 公布日： 2021-12-07 - 主分类号： G06F16/9536 文献下载
摘要：本发明提供一种数据搜索方法、装置、介质及产品。该方法包括：数据搜索方法、装置、介质及产品。该方法包括：确定满足搜索要求的种子账户；确定所述种子账户的至少一个关联账户并计算各关联账户的关联总分；将所述关联账户按照关联总分由高到低进行排序，并按照所述排序顺序依次确定每个关联账户的子关联账户，以按照排序顺序优先获取到与所述种子账户最具关联性的目标账户。基于此，通过计算关联账户的得分，对关联账户进行排序，依照排序优先级获取与关联账户最具关联性的目标账户。从而使采集账户时具有先后顺序，与种子账户最具关联性的先采集，提高采集到有效账户的速度，减少了对无效数据的采集，减少计算资源的浪费。
数据搜索方法装置介质产品

[发明专利]特定用户群体的管理方法及管理系统-CN201710190782.3有效
发明人：李宇涵;曹六一;张丹;于晓明 -专利权人：北大方正集团有限公司;北京北大方正电子有限公司
申请日： 2017-03-28 - 公布日： 2021-04-09 - 主分类号： G06F16/958 文献下载
摘要：本发明提供了一种特定用户群体的管理方法和一种特定用户群体的管理系统，其中，所述特定用户群体的管理方法包括：获取待筛选用户群体中每个用户的社交基本信息；根据所述社交基本信息分析确定所述每个用户的多个用户评价参数值；将所述多个用户评价参数值进行加权计算确定所述每个用户的综合评价值；根据所述综合评价值确定是否将所述每个用户自所述待筛选用户群体移至特定用户群体中。通过本发明的技术方案，可以实现对特定用户群体快速准确地扩展筛选，以便于准确地、有方向性地进行舆情追踪。
特定用户群体管理方法系统

[发明专利]社交媒体信息采集方法、装置、系统、设备及存储介质-CN201910255758.2有效
发明人：李宇涵;曹六一;张丹;于晓明 -专利权人：北大方正集团有限公司;北京北大方正电子有限公司
申请日： 2019-04-01 - 公布日： 2021-04-09 - 主分类号： G06F16/958 文献下载
摘要：本申请实施例提供一种社交媒体信息采集方法、装置、系统、设备及存储介质，该方法包括：向账号资源服务装置发送第一请求信息，所述第一请求信息用于请求所述账号资源服务装置根据待采集社交媒体的特征信息给所述采集调度装置分配对应的账号资源；根据所述账号资源，生成和/或衍生调度采集任务；向采集程序动态加载装置发送第二请求信息，所述第二请求信息用于请求调用所述采集程序动态加载装置提供的多个通用服务组件；根据所述调度采集任务，通过所述多个通用服务组件和所述账号资源，确定采集结果，所述采集结果用于表示对所述待采集社交媒体进行社交媒体信息采集后得到的采集数据。本实施例提供的方法能够适用于通用社交媒体信息的采集。
社交媒体信息采集方法装置系统设备存储介质

[发明专利]数据采集系统和方法-CN202010914439.0在审
发明人：张学颖;曹六一;杨飞 -专利权人：北大方正集团有限公司;北京北大方正电子有限公司
申请日： 2020-09-03 - 公布日： 2020-12-04 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例提供一种数据采集系统和方法，该系统包括：爬虫管理模块，采集集群模块和数据落地模块；所述爬虫管理模块中部署有多个爬虫线程，不同爬虫线程对应的数据采集方式不同；所述爬虫管理模块用于：基于调度机制，控制相应爬虫线程通过所述采集集群模块在网页中采集数据，并基于滤重机制对采集到的数据进行处理，得到有效数据；所述数据落地模块用于获取所述有效数据，并将所述有效数据按照预先确定的落地路径写入相应的内存中。该数据采集系统通过统一管理爬虫线程以及数据滤重，大大减少了开发人员的工作量，提高了数据采集效率和精度。
数据采集系统方法

[发明专利]分布式网络爬虫任务的调度方法及装置-CN201611169993.0有效
发明人：张学颖;张丹;于晓明;曹六一 -专利权人：北大方正集团有限公司;北京北大方正电子有限公司
申请日： 2016-12-16 - 公布日： 2020-12-04 - 主分类号： G06F16/951 文献下载
摘要：本发明提供一种分布式网络爬虫任务的调度方法及装置，方法包括：获取分布式网络中每个爬虫节点的处理能力；按照预设的优先级顺序并根据每个爬虫节点的处理能力为每个爬虫节点分配相应的待处理任务，以使得爬虫节点对所分配的待处理任务进行处理。本发明提供的分布式网络爬虫任务的调度方法及装置，按照预设的优先级顺序并根据每个爬虫节点的处理能力为爬虫节点分配相应数量的待处理任务，实现了对爬虫节点的有效管理，并且保证了每个爬虫节点按照自身处理能力对所分配的待处理任务进行处理的效率，进而提高了该调度方法的实用性。
分布式网络爬虫任务调度方法装置

[发明专利]统一资源定位符的选择方法和统一资源定位符的选择装置-CN201510107097.0有效
发明人： 曹六一;于晓明;颜勇;杨建武 -专利权人：北大方正集团有限公司;北京大学;北京北大方正电子有限公司
申请日： 2015-03-11 - 公布日： 2019-08-30 - 主分类号： G06F16/955 文献下载
摘要：本发明提出了一种统一资源定位符的选择方法和一种统一资源定位符的选择装置，其中，方法包括：根据输入的关键词获取与关键词相关的至少一个统一资源定位符；根据至少一个统一资源定位符中的每个统一资源定位符的参数信息和/或至少一个统一资源定位符所使用的域名的权重比，统计每个统一资源定位符与关键词的相关度；根据每个统一资源定位符与关键词的相关度，从至少一个统一资源定位符中选择目标统一资源定位符，以将目标统一资源定位符作为与关键词相关的统一资源定位符的搜索结果。通过本发明的技术方案，可以有效地保证了获取统一资源定位符的覆盖率和准确率，从而可以根据统一资源定位符获取质量较高的网页内容以供满足舆情分析的需求。
统一资源定位选择方法装置

[发明专利]新闻网页的正文抽取方法和系统-CN201610150748.9有效
发明人： 曹六一;张丹;杨建武 -专利权人：北大方正集团有限公司;北京大学;北京北大方正电子有限公司
申请日： 2016-03-16 - 公布日： 2019-06-28 - 主分类号： G06F16/953 文献下载
摘要：本发明涉及一种新闻网页的正文抽取方法和系统，该方法包括：根据新闻网页中的各个标签，将新闻网页生成一节点树；对节点树进行遍历，并生成由所有文本和所有链接按照遍历顺序组成的第一列表及由所有链接按照遍历顺序组成的第二列表；将第二列表中的各个链接在第一列表中进行一一映射，并生成表征映射结果的第三列表；根据第三列表，确定新闻网页中的最长连续文本序列；将最长连续文本序列作为新闻网页的正文进行抽取。本发明在抽取过程中无需人工配置的模板，因此适用于海量新闻网页的采集。而且，由于本发明提供的正文抽取方法是一种基于文本分布的正文抽取方法，相对于现有技术中单纯基于网页结构的抽取方法，准确率是更高的。
新闻网页正文抽取方法系统

[发明专利]数据抽取方法及装置-CN201611161732.4在审
发明人： 曹六一;张丹;于晓明 -专利权人：北大方正集团有限公司;北京北大方正电子有限公司
申请日： 2016-12-15 - 公布日： 2018-06-29 - 主分类号： G06F17/30 文献下载
摘要：本发明实施例提供一种数据抽取方法及装置。该方法包括：数据抽取插件从数据总线获取数据抽取任务，所述数据总线连接有多个数据抽取插件，每个数据抽取插件用于抽取不同种类的数据；数据抽取插件根据所述数据抽取任务抽取数据；并将其抽取到的数据发送给所述数据总线。本发明实施例基于数据抽取插件的数据抽取子系统，将散步在各个爬虫系统的中的抽取子模块插件化，解除与原系统的紧耦合，因此可以方便的对数据抽取模块进行复用；同时，将抽取模块以插件的方式集中管理，能更好的调配机器物理资源，提高物理资源的利用率。
数据抽取插件抽取数据总线物理资源数据抽取模块数据总线连接抽取模块抽取数据获取数据集中管理爬虫系统紧耦合数据发原系统子模块复用调配散步

[发明专利]一种站点地域识别方法及系统-CN201610170296.0在审
发明人： 曹六一;张丹;杨建武 -专利权人：北大方正集团有限公司;北京北大方正电子有限公司
申请日： 2016-03-23 - 公布日： 2017-10-03 - 主分类号： H04L29/12 文献下载
摘要：本发明涉及一种站点地域识别方法及系统。该站点地域识别方法包括根据待识别站点的域名获取待识别站点的IP地址；根据全球IP地址分配表建立IP地址与站点地域信息的映射表；查找所述IP地址与站点地域信息的映射表，获取与所述待识别站点的IP地址对应的站点地域信息。本发明通过获取到的待识别站点的IP地址查找IP地址与站点地域信息的映射表，获取与所述待识别站点的IP地址对应的站点地域信息，避免了部分站点信息无法通过人工获取的缺陷，实现了自动识别站点地域，方便快捷。
一种站点地域识别方法系统

[发明专利]一种模板配置方法及系统-CN201610162744.2在审
发明人： 曹六一;张丹;杨建武 -专利权人：北大方正集团有限公司;北京大学;北京北大方正电子有限公司
申请日： 2016-03-21 - 公布日： 2017-09-29 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种模板配置方法及系统，该方法包括获取网页的URL地址，根据所述URL地址加载对应的网页；当接收到用户对所述网页触发的选取操作时，提取所述选取操作对应的网页内容；查找所述网页内容对应的网页节点在所述网页对应的树状结构中的位置，根据查找到的位置生成所述网页内容对应的抽取表达式；将所述抽取表达式传递给预设模板树中当前配置节点的Xpath属性，实现网页的模板配置。本发明解决了现有技术中手工配置模板过程费时费力，而且需要进行重复修正的问题，实现了模板的自动配置，为数据抽取、采集提供了有力的技术支持。
一种模板配置方法系统

[发明专利]一种硬脂酸改性的纳米碳酸钙PVC门窗异型材-CN200510116792.X无效
发明人：赵福君;张威震;李宏亮;孙自洋;叶华;曹六一;姜琳琳 -专利权人：大庆石油管理局
申请日： 2005-11-01 - 公布日： 2006-04-26 - 主分类号： C08L27/06 文献下载
摘要：本发明涉及一种硬脂酸改性的纳米碳酸钙PVC门窗异型材。本发明在于实现纳米粒子对RPVC的增韧增强增刚作用，采用高速混合和超声辅助，使纳米粒子在聚合物基体中达到纳米分散，充分展现纳米效应。其特征在于：它含有PVC100重量份，复合稳定剂3～8重量份，碳酸钙0～20重量份，钦白粉3～15重量份，硬脂酸改性的纳米碳酸钙5～40重量份，CPE 4－16重量份，加工助剂0.1～5重量份，高温高效流动改性剂0.01～5重量份。本发明所制得的纳米PVC门窗异型材具有高韧性又有高刚性。
一种硬脂改性纳米碳酸钙 pvc 门窗异型

[发明专利]PVC异型材专用稀土复合稳定剂制备方法及应用-CN200510116791.5无效
发明人：赵福君;张威震;李宏亮;曹六一;叶华;孙自洋;张富 -专利权人：大庆石油管理局
申请日： 2005-11-01 - 公布日： 2006-03-29 - 主分类号： C08K13/02 文献下载
摘要：本发明涉及PVC异型材专用稀土一种复合稳定剂及其制备方法。涉及材料应用技术领域。其特征在于：先制取铅盐稳定剂、稀土稳定剂、内润滑剂、中间体、外润滑剂、复合抗氧剂；再进行工艺复合即得该产品。本发明方法简便，工艺合理：所制稳定剂，综合性能优越：本发明方法制备的复合稳定剂用于制造PVC型材，具有提高PVC型材的焊角强度、表面光洁度及提高低温抗冲击性能，尺寸变化率低，成本低，工艺性好等突出优点。
pvc 异型专用稀土复合稳定剂制备方法应用

1
共 15 条