[发明专利]在分布式文件系统中实现分布式管道的方法和装置有效
申请号: | 201710002254.0 | 申请日: | 2017-01-03 |
公开(公告)号: | CN106599323B | 公开(公告)日: | 2020-04-10 |
发明(设计)人: | 郭波 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/17 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 文件系统 实现 管道 方法 装置 | ||
1.一种在分布式文件系统中实现分布式管道的方法,其特征在于,所述方法包括:
写入接口接收写会话的数据写入请求,向元信息管理器发送包括写入长度的写入数据请求;
所述元信息管理器响应于所述写入长度与管道文件现有长度之和超过管道限定阈值,且管道文件属性中预设的数据清除策略允许自动清除,通知所述写入接口向截断接口发送前向截断通知;
所述写入接口向所述截断接口发送所述前向截断通知;
所述截断接口响应于接收到所述前向截断通知,向元信息管理器发送截断请求,所述截断请求包括截断偏移;
所述元信息管理器响应于接收到所述截断请求,比较所述截断请求中的截断偏移是否大于管道文件的起始偏移,若大于,通知管道文件副本对应的数据服务器执行前向截断操作。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述元信息管理器响应于所述写入长度与管道文件现有长度之和未超过所述管道限定阈值,向所述写入接口发送写入通知;
所述写入接口响应于接收到所述写入通知,将数据写入对应所述写入通知的数据服务器。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括以下一项或多项:
所述元信息管理器响应于所述截断偏移小于或等于所述起始偏移,通知前向截断接口向所述写入接口返回截断成功信息,向所述写入接口发送写入通知;
所述元信息管理器响应于至少一个数据服务器截断成功,仅保留截断成功的数据服务器上的数据副本,在所述管道文件属性中更新所述起始偏移,通知所述截断接口向所述写入接口返回截断成功信息;以及
所述元信息管理器响应于无数据服务器截断成功,通知所述截断接口向所述写入接口返回截断失败信息。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
所述元信息管理器响应于更新所述起始偏移,遍历所有的读会话,若更新后的所述起始偏移大于当前访问的读会话的下一次读取偏移,将所述当前访问的读会话的会话状态标记为错误状态。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述方法还包括:
读取接口接收读会话的数据读取请求,向元信息管理器发送包括读取偏移和读取长度的读取数据请求;
所述元信息管理器响应于所述读取偏移大于管道文件的起始偏移、所述读会话的会话状态并非错误状态且读取请求所要求读取的范围未超过管道文件末尾,向读取接口发送读取通知;
读取接口响应于接收所述读取通知,从所述读取通知指示的数据服务器读取数据。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述元信息管理器响应于所述读取偏移大于管道文件的起始偏移、所述读会话的会话状态并非错误状态、读取请求所要求读取的范围已超过管道文件末尾且管道文件属性中预设的会话策略为阻塞式会话,通知所述读取接口所述读会话进入阻塞状态;
所述元信息管理器响应于有新数据写入,并且写入的新数据满足所述读会话的下一次读取范围,向所述读取接口发送读取通知以唤醒所述进入阻塞状态的读会话。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述元信息管理器响应于所述读取偏移大于管道文件的起始偏移、所述读会话的会话状态并非错误状态、读取请求所要求读取的范围已超过管道文件末尾且管道文件属性中预设的会话策略并非阻塞式会话,向所述读取接口返回空;
所述读取接口向所述会话前端返回空。
8.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述元信息管理器响应于所述读取偏移小于管道文件的起始偏移或所述读会话的会话状态为错误状态,向所述读取接口发送读取失败信息;
所述读取接口向所述会话前端发送读取失败信息。
9.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述读取接口接收数据服务器响应于所述读取偏移大于管道文件的起始偏移返回的数据,向所述会话前端返回数据,并向元信息管理器提交已完成读取的读取偏移以记录至管道文件属性。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710002254.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据脱敏的方法及设备
- 下一篇:一种CAD数据抓取方法