ヘンな論文 (サンキュータツオ)
人文系のマイナー論文で面白いものを紹介する本。芸人さんで、もとはラジオで紹介していたらしい。後日談もあったりして、割と面白かった。こういう趣味もあるんだなあ。 大きな論文誌とかじゃなくて大学の紀要とかからも持ってきていて、かなり雑食でアンテナも広いんじゃないかな。趣味的な研究が多く。それでも最後の湯たんぽコレクターの人の話はすごかった。湯たんぽが欠落した時代があったなんて。 続編も出てるみたいですね。
Category: Paper
Slacker: Fast Distribution with Lazy Docker Containers (Tyler Harterほか)
世間でAlphaGoが凄いことになってるエポックメーキングな日にこれ書くのもアレだけど。 USENIX FAST16の論文のメモ。Tintriとdockerが組み合わさったら何が起きる？ ストレージのせいでコンテナのデプロイが遅いという問題を解決した。具体的にはTintri用のdockerのストレージドライバを作った。コンテナのデプロイを測定するhellobenchってのを開発したらしい。これはgithubに落ち
Optimizing Every Operation in a Write-Optimized File System (Jun Yuanほか)
USENIX FAST16の論文のメモ書きです。BetrFS 0.1というのがあったが、それをベースに0.2を作ったという話。 WOD(write optimized dictionary)というのがあって、文字通り書き込みに最適化されたディレクトリなんだけど、これまで削除、リネーム、シーケンシャル書き込みが遅かった。それをlate-binding journaling, zoning, range deletionの3つで解決した。 journalingというのはファイルシステム用語で、一度ジャ
Caveat-Scriptor: Write Anywhere Shingled Disks
これも魅力的なタイトルですね。Garth GibsonのところのCMUの人。Shingled Diskまだまだ熱いですからね。 Caveat-Scriptorはラテン語でlet the writer bewareという意味らしい。それでも意味がわからないんだけど、書き込む側が何らかの負担をするという意味みたい。 Host-Managed software for Caveat-Scriptor shingled disks is allowed to write anywhere, but if it fails to respect these distance parameters, it may destroy data. とのこと。Shingled Diskはピッチを狭めて書き込んでいるの
Edelta: A Word-Enlarging Based Fast Delta Compression Approach
HotStorage15の論文。 delta compressionの話。以前何かやろうとしたなぁ、delta encodingなつかしー。world enlargeだと思ったらword enlargeだった。 delta encodingで共通部分を見つけるときに、一度見つけたら続きもつながっていることが多く、それを利用してスループットを上げるという話だった。あんまり難しいことを言ってるようには聞こえないが、効果は出ている。
2015-10-06
LSM-trie: An LSM-tree-based Ultra-Large Key-Value Store for Small Data
コード → https://github.com/wuxb45/lsm-trie-release USENIX ATC15の論文。これはタイトルだけで読みたくなる論文ですね。LSMで、trieですよ。 LSMは普通はtreeですよね。Log Structured Merged Treeという古くからある有名なデータ構造。私も何度か実装しました。追加がシーケンシャルwriteになるので高速になり、けっこう便利なのですよね。一方でtrieというのはインデックスがエッジに含まれるtreeで、これも非常に古くからあるデータ構造。組み合わせ
U-root: A Go-based, firmware embeddable root file system with on-demand compilation
これもATC15かな。 ここで言うファイルシステムというのはファイルシステム自体の話ではなくて、もいっこ上の、ファイルツリーの話。いわゆる/ですね。組み込みLinuxの/だとbusyboxを使ったりするけど、ここではそこをGolangで書いてみた、という話。 Golangでそれを書いたからってどうなるわけでもあるまい、と思うでしょ？ それをいい意味で裏切ってくれる内容だった。 このroot fs、バイナリと
2015-09-03
MetaSync: File Synchronization Across Multiple Untrusted Storage Services
USENIX ATC15に出ていた論文。 Dropbox系のサービスを複数使ってreliableなストレージにする話。と聞くとアホらしい話にしか聞こえないが、実際はどうか？ 似たようなセコい話をどこかで見たような記憶もある。実際サービス停止したりデータロストしたりしているので、そういう状況でもうまく使いたいという話です。ただDropbox型のものはデータロストしてもユーザの手元のマスターデータと同期しているだけだ
途中で読むのをやめた論文(x2)
Analysis of the ECMWF Storage Landscape ECMWF(European Centre for Medium-Range Weather Forecasts、ヨーロッパ中期予報センター)のストレージを分析したもの。データが100PBあって、年45%増えている。ECFSというアーカイブ向けのものとMARSというDB的なAPIで扱うオブジェクトストアを併用している。ECFSは14.8PBで基本テープに0.34PBのディスクでキャッシュしている。MARSもテープで54PB。1PBのキャッシュ(が2個？)。MARSには
Willow: A User-Programmable SSD (Sudharsan Seshadri, Mark Gahagan, Sundaram Bhaskaran, Trevor Bunker, Arup De, Yanqin Jin, Yang Liu, and Steven Swanson, University of California, San Diego)
OSDI14の論文。 SSDが登場してから、いろんな処理をオフロードする試みがなされてきた。Atomic Operationやアロケーション、FSの権限チェックなど。だが実際のところこのような機能はSSDのベンダしか追加できないし、デバイス側がコードを信頼しなければならないという問題があった。まあそれは普通の話だよね。 それを解決するのがこのWillow。will allowでwillowらしい。これでサ