当前位置:首页 > 论文纲要 > 正文内容

论文纲要:面向洪量小文献的保存体例安排与实行

免费论文3年前 (2022-03-06)论文纲要48

连年来,应酬网站和电子商务等搜集效劳兴盛赶快,这类效劳常常须要保存洪量图片、短音乐、微博文本等小文献。保守的散布式保存体例,如HDFS,是面向大文献而安排的,在保存小文献时会爆发元数据开支过大、考察推迟较高档题目,不许符合保存洪量小文献的运用场景。 正文调查研究领会了HDFS的HAR计划、CMU GIGA+计划、Amazon Dynamo、Facebook Haystack等用来洪量小文献或处置洪量目次项的散布式体例或计划,并深刻调查研究了淘宝文献体例(Taobao File System, TFS),观赏了TFS的中心实行,中心领会了TFS的体例框架结构和读写过程。正文创造TFS在历次读/写进程中起码要创造3次搜集贯穿,同声TFS运用了分量级的MySQL数据库用作实行文献体例元数据效劳,那些安排给TFS带来了较高的推迟。 对准此题目,正文提出了一种新的低推迟、高可用的面向洪量小文献的散布式保存计划,该计划简化TFS读写文献的过程,运用了精巧的目次项保存办法,并实行了一个面向洪量小文献的散布式保存体例SFFS(Small-File File System)。 正文对SFFS举行了功效尝试和本能尝试。功效尝试表白,SFFS不妨扶助创造目次、创造目次项等目次功效,SFFS也不妨实行多复本,行将文献精确写入各别的保存节点并精确读掏出来。本能尝试表白,SFFS平衡读推迟比拟于TFS贬低了11.05%~36.6%,平衡写推迟贬低了8.97% ~18.92%。正文对SFFS体例构造举行了领会,比拟于TFS,SFFS的重心节点负载更轻、作废回复更快,所以在可用性上面更有上风。

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。