Analysis of the ECMWF Storage Landscape

ECMWF(European Centre for Medium-Range Weather Forecasts、ヨーロッパ中期予報センター)のストレージを分析したもの。データが100PBあって、年45%増えている。ECFSというアーカイブ向けのものとMARSというDB的なAPIで扱うオブジェクトストアを併用している。ECFSは14.8PBで基本テープに0.34PBのディスクでキャッシュしている。MARSもテープで54PB。1PBのキャッシュ(が2個？)。MARSにはHPCのソフトからアクセスされる。あまり深い興味を引かれず、途中までしか読まなかった。

Having Your Cake and Eating It Too: Jointly Optimal Erasure Codes for I/O, Storage and Network-bandwidth

Erasure Codeの話。RSのかわりにMSR codeがある。MSRはMinimum Storage Regeneratingつまり、リカバリに必要なデータ量が少ないものを目指している。RSでは16MBをリカバリするのに96MBのreadが必要だが、MSRだと29.7MBで済む(もちろんパラメータによって値は変わる)。この論文では、PM-MSRよりももっと凄いPM-RBT(Reconstruct By Transfer)を提案している。helperという用語があって、私はよく知らなかっかのだが、リカバリのために読まれるデータたちのことをHelperと言っている。まあいいや、と思って読むのをやめた。