[发明专利]一种加速多路星上载荷文件存储的方法有效
| 申请号： | 202010008656.3 | 申请日： | 2020-01-02 |
| 公开（公告）号： | CN111209228B | 公开（公告）日： | 2023-05-26 |
| 发明（设计）人： | 韦杰;刘伟亮;白亮;田文波;滕树鹏;胡浩;双小川 | 申请（专利权）人： | 上海航天计算机技术研究所 |
| 主分类号： | G06F12/0853 | 分类号： | G06F12/0853;G06F12/0895 |
| 代理公司： | 上海汉声知识产权代理有限公司 31236 | 代理人： | 胡晶 |
| 地址： | 201109 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种加速多路星上载荷文件存储的方法，通过采用两级缓存和多线程流水作业的处理方法加速多路星上载荷文件的存储。在载荷数据接收线程中，第一级缓存利用循环队列和计数信号量相互配合，通过读写指针控制，不做区分的从外部接口接收各路载荷数据包。在载荷数据处理线程中，第二级缓存针对每一路载荷数据采用双缓存交替读写，同时配合状态机控制每个缓存的空、接收和存储状态。在载荷数据存储线程中，将状态为存储的缓存中的载荷数据按存储器页大小写入文件中存储。第一级缓存快速地接收下外部的多路载荷数据，第二级的双缓存乒乓操作，加速每路载荷文件数据的快速存储，充分利用处理器资源，达到加速多路星上载荷文件存储的效果。 | ||
| 搜索关键词： | 一种 加速 多路星上 载荷 文件 存储 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海航天计算机技术研究所，未经上海航天计算机技术研究所许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010008656.3/，转载请声明来源钻瓜专利网。
- 同类专利
- 日志实时收集处理方法及设备-202310952297.0
- 刁志伟;冯晋阳;韩锡锐;蒋林雪 - 北京德塔精要信息技术有限公司
- 2023-08-01 - 2023-08-29 - G06F12/0853
- 本申请涉及日志获取技术领域，尤其涉及一种日志实时收集处理方法及设备，方法包括：通过日志实现的抽象层接入日志框架；继承日志组件的输出源实时获取指定的日志数据；对日志数据进行整理，将整理完成的日志数据推送到缓存队列；在达到设定条件时，将缓存队列中的日志数据发送到搜索引擎中进行存储，并提供下载接口。本技术方案不需要单独部署额外的服务，减少服务器资源占用，维护方便。本技术方案继承日志组件的输出源获取指定的日志数据，使用时和主流日志记录的方式保持一致，不需要额外的学习成本。日志数据实时获取实时下载，没有延时。
- 存储设备异步事件上报方法及其应用设备-202310549092.8
- 郝鹏;王磊;孙明刚 - 苏州浪潮智能科技有限公司
- 2023-05-16 - 2023-08-15 - G06F12/0853
- 本发明实施例提供了存储设备异步事件上报方法及其应用设备，涉及计算机系统及网络交互技术领域；包括主机设备在初始化时，读取非易失性内存主机控制器接口规范存储设备的事件队列参数；依据队列深度和单个事件长度创建事件队列，事件队列包括队列地址；将队列地址发送至非易失性内存主机控制器接口规范存储设备；非易失性内存主机控制器接口规范存储设备用于接收队列地址，依据队列地址同步事件队列，当存在异步事件发生时，生成异步事件信息，将异步事件信息写入事件队列，向主机设备发送与事件队列对应的中断通知；主机设备当接收到中断通知时，从事件队列中读取异步事件信息。本发明实施例提高了存储设备异步事件上报的及时性。
- 一种加速多路星上载荷文件存储的方法-202010008656.3
- 韦杰;刘伟亮;白亮;田文波;滕树鹏;胡浩;双小川 - 上海航天计算机技术研究所
- 2020-01-02 - 2023-05-26 - G06F12/0853
- 本发明提供了一种加速多路星上载荷文件存储的方法，通过采用两级缓存和多线程流水作业的处理方法加速多路星上载荷文件的存储。在载荷数据接收线程中，第一级缓存利用循环队列和计数信号量相互配合，通过读写指针控制，不做区分的从外部接口接收各路载荷数据包。在载荷数据处理线程中，第二级缓存针对每一路载荷数据采用双缓存交替读写，同时配合状态机控制每个缓存的空、接收和存储状态。在载荷数据存储线程中，将状态为存储的缓存中的载荷数据按存储器页大小写入文件中存储。第一级缓存快速地接收下外部的多路载荷数据，第二级的双缓存乒乓操作，加速每路载荷文件数据的快速存储，充分利用处理器资源，达到加速多路星上载荷文件存储的效果。
- 一种数据访问方法、装置及计算机设备-202210869122.9
- 樊浚熙 - 杭州宏杉科技股份有限公司
- 2022-07-22 - 2022-10-14 - G06F12/0853
- 本申请提供一种数据访问方法、装置及计算机设备，其中，该数据访问方法应用于分布式存储系统的服务器，分布式存储系统包括：N个缓存队列，N大于2，每个缓存队列关联一个缓存位置，至少两个不同缓存队列的队列类型不同，不同缓存队列用于缓存不同数据读取次数的数据，包括如下步骤：接收数据读取请求，若缓存中不存在数据读取请求对应的目标数据，从数据盘中读取目标数据并缓存到初始缓存队列，初始缓存队列用于缓存数据读取次数为一次的数据；若缓存中存在数据读取请求对应的目标数据，发送目标数据，并根据目标数据所处的缓存队列将目标数据缓存到对应的缓存队列。通过实施本发明，细化了数据热度的判断，减少了数据出入队列的资源开销。
- 一种静态可分配共享多队列缓存的装置及方法-202110861235.X
- 朱峰 - 常州楠菲微电子有限公司
- 2021-07-29 - 2021-11-05 - G06F12/0853
- 本发明提出一种静态可分配共享多队列缓存的装置及方法，装置包括空间管理模块、指针管理模块、数据调度模块、读写命令模块、配置寄存器、寄存器和共享缓存模块，方法中，空间管理模块读取配置寄存器中的配置信息计算队列的指针最大值和指针最小值并分配缓存空间，指针管理模块配置队列的读指针、写指针和复制指针并调整上述指针的值，数据调度模块根据队列的头数据选择待调度队列，非释放读情况下，复制指针的值在读指针和写指针之间变动以实现缓存空间中数据的复制。本发明静态分配每个队列的缓存空间，同时能够支持缓存空间中数据的重复读取，增加了数据读取操作效率。
- 一种带预测机制的cache实现方法-202010073159.1
- 胡天驰;林伟彬;侯新宇 - 华为技术有限公司
- 2020-01-22 - 2021-03-09 - G06F12/0853
- 本申请提供一种带预测机制的cache实现方法，本端服务器与远端服务器通过RDMA进行数据传输，本端服务器的存储器中保存有至少一个队列，每个队列用于保存IO命令，IO命令指示本端服务器向远端服务器进行数据访问，该方法包括：网卡预测高频队列信息，该高频队列信息被访问的可能性大于其他队列信息，在缓存空间中保存高频队列信息，该缓存空间在网卡中，该缓存空间保存的队列信息与存储器中的队列一一对应，每个队列信息用于网卡对队列信息对应的队列中的IO命令进行处理。本申请可以提高缓存空间的命中率。
- 一种基于高性能存储介质的数据缓存方法及系统-201710113631.8
- 樊云龙;张伟;赵祯龙;方浩;马怀旭 - 苏州浪潮智能科技有限公司
- 2017-02-28 - 2021-01-12 - G06F12/0853
- 本发明公开了本发明提供一种基于高性能存储介质的数据缓存方法，包括：获取缓存数据，并将缓存数据同时存储至内存缓存队列以及高性能存储介质中；建立存储于内存缓存队列的缓存数据与存储于高性能存储介质的缓存数据的映射位图；根据映射位图进行数据缓存处理。由于高性能存储介质的读写速度快，且具有掉电保护等性能，将内存缓存与高性能存储介质进行结合，将缓存数据同时缓存至内存缓存队列以及高性能存储介质中，并通过建立内存缓存队列的数据与高性能存储介质的数据的映射位图，来对数据进行缓存处理，不仅能够增加内存缓存空间，还能够提高缓存速度，保证数据完整。本发明还公开了一种基于高性能存储介质的数据缓存系统，具有上述效果。
- 光模块中监测参数的处理方法、读取方法、装置及光模块-201710680529.6
- 王文希;王魁 - 青岛海信宽带多媒体技术有限公司
- 2017-08-10 - 2020-12-04 - G06F12/0853
- 本发明实公开了一种光模块中监测参数的处理方法、读取方法、装置及光模块，具体的，将光模块中用于存储监控参数的数据缓存区分为至少三个缓存区，并对第二缓存区设置标志位，用于指示第二缓存区当前状态。当第二缓存区正在进行数据更新时，第二缓存区的保存标志位为第一标识信息，说明其内部数据并不完整，这时有总线接口读取命令来临时，则从第三缓存区里返回数据给下发总线接口读取命令的设备；相反，第二缓存区的保存标志位为第二标识信息，说明其内部数据完整，则从第二缓存区里返回数据给下发总线接口读取命令的设备。因此，可避免因总线接口读取与数据更新时的冲突，读到错误更新数据，导致校准曲线出现偏差，影响监控量的精度的问题。
- 通过使用机器学习模块管理全局队列与多个本地队列之间的高速缓存段的分配和迁移-202010400636.0
- L·M·古普塔;K·J·埃士;B·A·佩特尔松;M·R·克雷格 - 国际商业机器公司
- 2020-05-13 - 2020-11-24 - G06F12/0853
- 提供了计算机程序产品、系统和方法，通过使用机器学习模块管理全局队列与多个本地队列之间的高速缓存段的分配和迁移。向机器学习模块提供与对本地队列中的段的管理和对全局队列的访问以在本地队列与全局队列之间传输高速缓存段有关的高速缓存段管理信息，以输出最佳数量参数和传输数量参数，最佳数量参数包括在本地队列中维持的段的最佳数量，传输数量参数包括在本地队列与全局队列之间传输的高速缓存段的数量。将最佳数量参数和传输数量参数发送到具有本地队列的处理单元，以使处理单元将传输数量参数的高速缓存段在本地队列与全局队列之间传输。
- 一种数据传输方法、装置、计算机可读存储介质和计算机设备-201910365294.0
- 陈亚川;苗辉 - 贵州白山云科技股份有限公司
- 2019-04-30 - 2020-10-30 - G06F12/0853
- 本发明提供了一种数据传输方法、装置、计算机可读存储介质和计算机设备。涉及数据通信技术，解决了发送端数据缓存过程中资源消耗大、部署不便等问题。该方法包括：在内存中创建内存缓冲单元，将待发送数据写入所述内存缓冲单元；在所述内存缓冲单元写满后，将所述内存缓冲单元中存储的数据序列化到磁盘；创建新的内存缓冲单元，继续向所述内存缓冲单元中写入待发送数据。本发明提供的技术方案适用于数据跨网传输，实现了适应各种网络环境的低风险、简化的数据缓存。
- 用于提供空闲轮询循环的有效检测的技术-201910184226.4
- D.亨特;N.鲍尔;K.德维;C.韦;B.理查森;E.塔米尔;A.坎宁安;C.麦克纳马拉;N.马贾诺维奇;R.塞克斯顿;J.布朗尼 - 英特尔公司
- 2019-03-12 - 2019-10-25 - G06F12/0853
- 用于提供空闲轮询循环的有效检测的技术包括计算装置。计算装置具有包括多个核和存储器的计算引擎。计算引擎要确定在多个核中的核的预定义时间段期间不成功操作与成功操作的比率，所述核被指配为在预定义时间段内对于状况改变连续轮询存储器地址，并且确定所确定的比率是否满足不成功操作与成功操作的参考比率。参考比率指示指配的核的操作改变。计算引擎进一步根据所确定的比率是否满足参考比率来选择性地增大或减小指配的核的功率使用。还描述了其它实施例并且要求了权利。
- 系统应急情况下的数据存储方法、存储介质-201910367531.7
- 刘德建;林伟;郭玉湖 - 福建天泉教育科技有限公司
- 2019-05-05 - 2019-09-10 - G06F12/0853
- 本发明提供的系统应急情况下的数据存储方法、存储介质，方法包括：系统降级后写入数据时，将待写入的数据存储至预添加在系统和磁盘之间的缓存层；通过异步线程读取所述缓存层中的数据，并将其写入存储设备。本发明能够有效避免系统降级后引起线程等待，进而提高用户体验度；同时，还能确保数据正确存储，为系统恢复后的读取提供有效支持；再者，还能实现系统降级后更快速写入数据，同时还具有双倍的缓存容量，进一步提高系统稳定性。
- 片上系统和管理缓冲器的方法-201510047130.5
- D·伊兰;A·拉驰马尼;M·韦纳 - 马维尔以色列(M.I.S.L.)有限公司
- 2015-01-29 - 2019-04-23 - G06F12/0853
- 本发明的各实施例涉及经由队列与缓冲器管理器对接。各实施例包括一种片上系统(SOC)，该片上系统包括：高速缓存；缓冲器管理器，该缓冲器管理器被配置为管理多个缓冲器位置；以及处理核心，该处理核心被配置为向缓冲器管理器发出缓冲器分配请求以请求该缓冲器管理器向该处理核心分配一个或多个缓冲器位置，该缓冲器管理器还被配置为响应于接收到缓冲器分配请求、通过向高速缓存写入与第一缓冲器位置相关联的第一缓冲器指针来向该处理核心分配第一缓冲器位置，并且该处理核心还被配置为通过从高速缓存读取第一缓冲器指针来获得第一缓冲器位置的分配。
- 一种日志缓存方法、系统、设备及计算机可读存储介质-201811295938.5
- 刘如意;孙京本;李佩 - 郑州云海信息技术有限公司
- 2018-11-01 - 2019-02-26 - G06F12/0853
- 本申请公开了一种日志缓存方法、系统、设备及计算机可读存储介质，该方法包括：获取待缓存日志；在预设的可用缓存资源队列中取出目标缓存资源；缓存待缓存日志至目标缓存资源中；将目标缓存资源填充至预设的已用缓存资源队列中。本申请公开的一种日志缓存方法，借助预设的可用缓存资源队列存储可用缓存资源，借助预设的已用缓存资源队列存储已用缓存资源，这样可以根据可用缓存资源队列和已用缓存资源队列快速确定出缓存待缓存日志的目标缓存资源，进而可以提高将日志写入目标缓存资源的速率。本申请公开的一种日志缓存系统、设备及计算机可读存储介质也解决了相应技术问题。
- 一种基于函数调用栈的数据预取方法和装置-201810719750.2
- 郑重;郭维;雷国庆;王俊辉;王永文;黄立波;孙彩霞;隋兵才 - 中国人民解放军国防科技大学
- 2018-07-03 - 2018-11-27 - G06F12/0853
- 本发明公开了一种基于函数调用栈的数据预取方法和装置，方法步骤包括跟踪程序执行的函数调用和函数返回指令；函数调用时，将当前堆栈地址存入先进后出队列头部；函数返回时，将队列头部调用该函数时放入的堆栈地址删除；使用当前队列头部的堆栈地址，生成数据预取请求并进行数据预取操作；装置包括Call/Ret指令跟踪单元、堆栈地址缓存单元以及预取请求生成单元。本发明基于函数调用栈规律实现，具有准确率高、实现代价小、不影响现有预取器、集成方便、使用灵活的优点。
- 非易失存储器、计算系统、及读取方法-201710178677.8
- 金镇佑;朴在根;赵永进 - 三星电子株式会社
- 2017-03-23 - 2018-10-09 - G06F12/0853
- 本发明涉及一种由计算系统执行的读取方法，该计算系统包括处理器、至少一个非易失存储器和执行所述至少一个非易失存储器的高速缓冲功能的至少一个高速缓冲存储器。所述方法包括从处理器接收关于关键字的读取请求。通过对应于读取请求的标签确定操作，作出是否产生高速缓冲未中的确定。当标签确定操作的结果表示产生了高速缓冲未中时，以环绕方案从至少一个非易失存储器接收对应于读取请求的页数据。当页数据的关键字被接收时，将该关键字输出到处理器。
- 一种提高数据存储效率的方法及系统-201410640923.3
- 孙成慧;李慧娟;车聪聪;徐顺;邴晨阳;张永垒;徐广增;朱西深 - 中车青岛四方机车车辆股份有限公司
- 2014-11-13 - 2018-09-25 - G06F12/0853
- 本发明通过将数据先写入一个高速先入先出缓存器，再写入一个临时先入先出缓存器的方式，对需要存储的数据进行缓存。在数据写满高速先入先出存储器后，再将高速先入先出存储器的数据写入临时先入先出缓存器，同时打开文件，存储数据。存储完毕后，关闭文件。这样就避免了对单个数据进行打开文件和关闭文件的操作，而是对一批数据集中进行一次打开文件和关闭文件的操作，提高了存储数据的效率。存储数据的效率提高，不再降低了对数据采样速度的限制，也从而整体提高了采集‑存储过程的速度。
- 一种针对缓存页面的页面管理方法及装置-201510182284.5
- 魏晓辉;白鑫;庞晓丽;白森;郭晓新 - 吉林大学
- 2015-04-17 - 2018-08-07 - G06F12/0853
- 本申请提供一种针对缓存页面的页面管理方法及装置，通过接收携带待被访问页面信息的页面访问请求，并判断该待被访问页面信息指示的待被访问页面是否位于缓存(该缓存由若干个按照预先设置的存储顺序进行页面存储的先进先出队列组成)中，进而当待被访问页面不位于缓存、且缓存未满时，将待被访问页面添加至第一目的先进先出队列(该第一目的先进先出队列为存储顺序指示的缓存中第一个用于对页面进行存储的先进先出队列)的头部，以实现对缓存页面的页面管理。
- 一种数据处理装置和终端-201410181402.6
- 韩新伟;李贤 - 华为技术有限公司
- 2014-04-30 - 2018-01-16 - G06F12/0853
- 本发明实施例公开了一种数据处理装置和终端，该装置中的输入交换模块的第一个输出端至第N个输出端分别与缓存模块包括的第一个缓存单元至第N个缓存单元的输入端连接；写仲裁器的控制端与输入交换模块的控制端连接；输出交换模块的第一个输入端至第N个输入端分别与第一个缓存单元至第N个缓存单元的输出端连接，输出交换模块的第一个输出端至第N个输出端分别与重排器的第一个输入端至第N个输入端连接；读仲裁器的控制端与输出交换模块的控制端连接；重排器的第一个输出端至第N个输出端分别与数据处理装置的第一个输出端至第N个输出端连接。本发明实施例可以提高缓存单元的利用率。
- 一种存储数据的方法及装置-201310055475.6
- 张文凌;吴宏强 - 联动优势科技有限公司
- 2013-02-21 - 2017-05-31 - G06F12/0853
- 本发明涉及计算机技术领域，尤其涉及一种存储数据的方法及装置，用以解决现有技术中应用服务器受到内存队列容量的限制，运行效率较低的问题。本发明实施例提供的存储数据的方法包括当内存主队列中存储的数据总量达到总容量后，将新接收的数据存储到内存缓冲队列中；所述内存缓冲队列的总容量小于所述内存主队列的总容量；当内存缓冲队列中存储的数据总量达到总容量时，将内存缓冲队列的数据存储到非易失性存储介质中；当内存主队列中空余的容量达到设定的第一容量限值时，将非易失性存储介质中不超过所述第一容量限值的数据存储到内存主队列中，从而扩充了存储队列的容量，提高了应用服务器的运行效率。
- 专利分类
