分布式文件系统存储介质评测与分析

第３３卷第１０期

２０１０年１０月

——一ｒ—＿————－—一—；＝；＝＝＝＝＝＝＝：＝＝＝；＝＝＝＝

计

算

机

学

报

ｖ０１．３３

Ｎｏ．１０

ＣＨｌＮＥＳＥＪＯＵＲＮＡＬ０ＦＣＯＭＰＵＴＥＲＳ

Ｏｃｔ．２０１０

分布式文件系统存储介质评测与分析

许春聪

黄小猛吴诺孙宁伟杨产文

１０００８４）

（清华大学计算机科学与技术系信息科学与技术国家实验室北京

摘要文中分析了磁盘、ＳＳＤ和ＤＲＡＭ的价格和能耗，测试了分布式文件系统ＨＤＦＳ、ＭｏｏｓｅＦＳ和ＣａｒｒｉｅｒＦＳ部

署在不同存储介质上的数据吞吐率，接着提出了一种存储介质的性价比理论模型，并分析了当前、２０１５年和２０２０年不同存储介质的性价比和变化趋势．通过性价比分析可得，ＤＲＡＭ具有较大的性价比优势。适合于高并发随机访问应用．随着ＤＲＡＭ容量的快速提升，未来ＤＲＡＭ有可能成为可选的数据存储介质．当前，ＳＳＤ虽然具有较好的访问性能，但其价格高、容量小、性价比低于磁盘．２０１５年ＳＳＤ的性价比将超过磁盘，有可能替代磁盘成为大规模存储系统的基本存储设备．

关键词分布式文件系统；吞吐率；存储介质

中图法分类号ＴＰ３０１

ＯＯＩ号：１０．３７２４／ＳＰ．Ｊ．１０１６．２０１０．０１８７３

Ｐｅｒｆｏｒｍａｎｃｅ

ＴｅｓｔｉｎｇａｎｄＡｎａｌｙｓｉｓｔｏＳｔｏｒａｇｅ

Ｍｅｄｉｕｍ

ＳＵＮ

ｏｆＤｉｓｔｒｉｂｕｔｅｄＦｉｌｅＳｙｓｔｅｍ

ＹＡＮＧＧｕａｎｇ—Ｗｅｎ

ＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ。

ＸＵＣｈｕｎ—Ｃｏｎｇ

（ＴｓｉｎｇｈｕａＮａｔｉｏｎａｌ

ＨＵＡＮＧＸｉａｏ—Ｍｅｎｇ

ｆｏｒｈｙｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ

ＷＵＮｕｏ

ａｎｄ

Ｎｉｎｇ—Ｗｅｉ

ＬａｂｏｒａｔｏｒｙＴｅｃｈｎｏｌｏｇｙ．ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒ

１０００８４）

ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ

Ａｂｓｔｒａｃｔ

Ｔｈｉｓｐａｐｅｒｉｎｖｅｓｔｉｇａｔｅｓｔｈｅ

ｐｒｉｃｅａｎｄ

ｐｏｗｅｒｃｏｎｓｕｍｐｔｉｏｎ

ｏｆｔｈｅ

ｄｉｓｋｓ，ＳＳＤ，ａｎｄ

ＤＲＡＭ，ａｎｄａｌｓｏｔｅｓｔｅｄｔｈｅｒｅａｄａｎｄｗｒｉｔｅｔｈｒｏｕｇｈｐｕｔｓｏｆＨＤＦＳ，ＭｏｏｓｅＦＳ，ａｎｄＣａｒｒｉｅｒＦＳｂａｓｅｄ

ｏｎ

ｔｈｅｓｅｓｔｏｒａｇｅｍｅｄｉｕｍｓ．Ｔｈｅｎ，ｉｔｐｒｏｐｏｓｅｓ

ａｎ

ｅｓｔｉｍａｔｉｏｎｍｏｄｅｌｏｆｐｅｒｆｏｒｍａｎｃｅ—ｐｒｉｃｅｒａｔｉｏｆｏｒ

ｔｈｅｓｅｓｔｏｒａｇｅｍｅｄｉｕｍｓａｎｄａｌｓｏｐｒｅｄｉｃｔｅｄａｎｄｔｈｅｃｈａｎｇｅｔｒｅｎｄｓｏｆｔｈｅｉｒｐｅｒｆｏｒｍａｎｃｅ—ｐｒｉｃｅｒａｔｉｏｉｎ２０１５ａｎｄ２０２０．Ｆｒｏｍｔｈｅａｎａｌｙｓｉｓｒｅｓｕｌｔｓ，ｗｅｐｅｒｆｏｒｍａｎｃｅ—ｐｒｉｃｅｒａｔｉｏａｎｄｐａｃｉｔｙｇｒｏｗｓ，ｉｔｗｉｌｌｂｅｃｏｍｅＳＳＤｄｕｅ

ｃａｉｌ

ａｒｅ

ｃａｎｓｅｅ

ｔｈａｔＤＲＡＭｈａｓｔｈｅａｄｖａｎｔａｇｅｏｆｈｉｇｈ

ａｃｃｅｓｓ

ｓｕｉｔａｂｌｅｆｏｒｈｉｇｈｌｙｐａｒａｌｌｅｌｒａｎｄｏｍ

ａｐｐｌｉｃａｔｉｏｎｓ．Ａｓｉｔｓ

ｎｅａｒ

ｃａ—

ａｎ

ｏｐｔｉｏｎａｌｄｅｖｉｃｅｆｏｒｓｔｏｒａｇｅｓｙｓｔｅｍｓｉｎｔｈｅ

ｆｕｔｕｒｅ．Ａｌｔｈｏｕｇｈ

ｐｒｏｖｉｄｅｂｅｔｔｅｒ

ａｃｃｅｓｓ

ｐｅｒｆｏｒｍａｎｃｅｔｈａｎｈａｒｄｄｉｓｋｓ，ｉｔｈａｓｌｏｗｅｒｐｅｒｆｏｒｍａｎｃｅ—ｐｒｉｃｅｒａｔｉｏ

ｔｏ

ｉｔｓｈｉｇｈｅｒｐｒｉｃｅａｎｄｓｍａｌｌｅｒｃａｐａｃｉｔｙ．Ｈｏｗｅｖｅｒ，ｔｈｅａｕｔｈｏｒｓｐｒｅｄｉｃｔｔｈａｔｉｎ２０１５，ｉｔｓｐｅｒ－

ｔｏ

ｆｏｒｍａｎｃｅ—ｐｒｉｃｅｒａｔｉｏｗｉｌｌｂｅｃｏｍｅｈｉｇｈｅｒｔｈａｎｈａｒｄｄｉｓｋｓａｎｄｔｈｕｓｍａｙｓｕｂｓｔｉｔｕｔｅｆｏｒｈａｒｄｄｉｓｋｓｂｅｃｏｍｅｔｈｅｍａｊｏｒｄｅｖｉｃｅｆｏｒｌａｒｇｅ—ｓｃａｌｅｓｔｏｒａｇｅｓｙｓｔｅｍｓ．

Ｋｅｙｗｏｒｄｓ

ｄｉｓｔｒｉｂｕｔｅｄｆｉｌｅｓｙｓｔｅｍ；ｔｈｒｏｕｇｈｐｕｔ；ｓｔｏｒａｇｅｍｅｄｉｕｍ

的核心基础平台，分布式文件系统的重要性日益凸

引

吉嗣

显．目前，具有代表性的分布式文件系统有Ｇｏｏｇｌｅ

的ＧＦＳ（ＧｏｏｇｌｅＦｉｌｅＳｙｓｔｅｍ）Ｅ１３以及开源的Ｌｕｓｔｒｅ、

随着云存储应用范围的不断扩展，作为云存储ＨＤＦＳ、ＭｏｏｓｅＦＳ和清华大学研发的ＣａｒｒｉｅｒＦＳ等．

收稿日期：２０１０—０８—２２．本课题得到国家自然科学基金（６０８０３１２１，６０７７３１４５，９０８１２００１，６０９６３００５）、国家“八六三”高技术研究发展计划项目基金（２０１０ＡＡ０１２４０１）资助．许春聪，男，１９８０年生，博士研究生，事要研究方向为云计算、分布式文件系统．Ｅ－ｍａｉｌ：ｘｃｃ０７＠ｍａｉｌｓ．ｔｓｉｎ—ｇｈｕａ．ｅｄｕ．ｃ１１．黄小猛。男。１９８０年生．博士。助理研究员．研究方向为数据网格、云计算和分布式文件系统．昊谱，男．１９８３年生，博士研究生，研究方向为分布式数据存储系统．孙宁伟，男，１９８７年生，本科，研究方向为分布式文件系统．杨广文，男，１９６３年生。博士，教授，博士生导师，研究领域为数据网格、云计算和分布式存储系统．

万方数据

计算机学报

这些分布式文件系统均面向大规模云存储应用．ＧＦＳ已在Ｇｏｏｇｌｅ内部得到了广泛应用，Ｈａｄｏｏｐ是应用ＭａｐＲｅｄｕｃｅ的分布式计算模型实现的分布式文件系统，目前应用非常广泛．清华大学计算机系设计的分布式文件系统ＣａｒｒｉｅｒＦＳ在清华大学校内存储了７０ＴＢ的文件数据，为校内文件资源共享提供

百度搜索“yundocx”或“云文档网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，云文档网，提供经典公务员考试分布式文件系统存储介质评测与分析在线全文阅读。