分布式系統(Distributed System)資料

介紹:這是一篇介紹在動態網絡里面實現分布式系統重構的paper.論文的作者(導師)是MIT讀博的時候是做分布式系統的研究的,現在在NUS帶學生,不僅僅是分布式系統,還有無線網絡.如果感興趣可以去他的主頁了解.

• 《Distributed porgramming liboratory》
</ul>

介紹:分布式編程實驗室,他們發表的很多的paper,其中不僅僅是學術研究,還有一些工業界應用的論文.

• 《MIT Theory of Distributed Systems》
</ul>

介紹:麻省理工的分布式系統理論主頁,作者南希·林奇在2002年證明了CAP理論,并且著《分布式算法》一書.

• 《Notes on Distributed Systems for Young Bloods》
</ul>

介紹:分布式系統搭建初期的一些建議

• 《Principles of Distributed Computing》
</ul>

介紹:分布式計算原理課程

• 《Google's Globally-Distributed Database》
</ul>

介紹:Google全球分布式數據介紹

• 《The Architecture Of Algolia’s Distributed Search Network》
</ul>

介紹:Algolia的分布式搜索網絡的體系架構介紹

• 《Build up a High Availability Distributed Key-Value Store》
</ul>

介紹:構建高可用分布式Key-Value存儲系統

• 《Distributed Search Engine with Nanomsg and Bond》
</ul>

介紹:Nanomsg和Bond的分布式搜索引擎

• 《Distributed Processing With MongoDB And Mongothon》
</ul>

介紹:使用MongoDB和Mongothon進行分布式處理

• 《Salt: Combining ACID and BASE in a Distributed Database》
</ul>

介紹:分布式數據庫中把ACID與BASE結合使用.

• 《Makes it easy to understand Paxos for Distributed Systems》
</ul>

介紹:理解的Paxos的分布式系統

• 《There is No Now Problems with simultaneity in distributed systems》
</ul>

介紹:There is No Now Problems with simultaneity in distributed systems

• 《Distributed Systems》
</ul>

介紹:倫敦大學學院分布式系統課程課件.

• 《Distributed systems for fun and profit》
</ul>

介紹:分布式系統電子書籍.

• 《Distributed Systems Spring 2015》
</ul>

介紹:卡內基梅隆大學春季分布式課程主頁

• 《Distributed Systems: Concepts and Design (5th Edition)》
</ul>

介紹: 電子書,分布式系統概念與設計(第五版)

• 《走向分布式》
</ul>

介紹:這是一位臺灣網友 ccshih 的文字，短短的篇幅介紹了分布式系統的若干要點。pdf

• 《Introduction to Distributed Systems Spring 2013》
</ul>

介紹:清華大學分布式系統課程主頁,里面的schedule欄目有很多寶貴的資源

• 《Distributed systems》
</ul>

介紹:免費的在線分布式系統書籍

• 《Some good resources for learning about distributed computing》
</ul>

介紹:Quora上面的一篇關于學習分布式計算的資源.

• 《Spanner: Google’s Globally-Distributed Database》
</ul>

介紹:這個是第一個全球意義上的分布式數據庫，也是Google的作品。其中介紹了很多一致性方面的設計考慮，為了簡單的邏輯設計，還采用了原子鐘，同樣在分布式系統方面具有很強的借鑒意義.

• 《The Chubby lock service for loosely-coupled distributed systems》
</ul>

介紹:這篇論文詳細介紹了Google的分布式鎖實現機制Chubby。Chubby是一個基于文件實現的分布式鎖，Google的 Bigtable、Mapreduce和Spanner服務都是在這個基礎上構建的，所以Chubby實際上是Google分布式事務的基礎，具有非常高的參考價值。另外，著名的zookeeper就是基于Chubby的開源實現.

• 《Sinfonia: a new paradigm for building scalable distributed systems》
</ul>

介紹:這篇論文是SOSP2007的Best Paper，闡述了一種構建分布式文件系統的范式方法，個人感覺非常有用。淘寶在構建TFS、OceanBase和Tair這些系統時都充分參考了這篇論文.

• 《Data-Intensive Text Processing with MapReduce》
</ul>

介紹:Ebook:Data-Intensive Text Processing with MapReduce.

• 《Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System》
</ul>

介紹:Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System.

• 《Distributed Query Processing》
</ul>

介紹:分布式查詢入門.

• 《Distributed Systems and the End of the API》
</ul>

介紹:分布式系統和api總結.

• 《Distributed Query Reading》
</ul>

介紹:分布式系統閱讀論文，此外還推薦github上面的一個論文列表The Distributed Reader。

• 《Replication, atomicity and order in distributed systems》
</ul>

介紹:Replication, atomicity and order in distributed systems

• 《MIT course:Distributed Systems》
</ul>

介紹:MIT分布式系統課程主頁，這次用Golang作為授課語言。

• 《Distributed systems for fun and profit》
</ul>

介紹:免費分布式系統電子書。

• 《Ori：A Secure Distributed File System》
</ul>

介紹:斯坦福開源的分布式文件系統。

• 《Availability in Globally Distributed Storage Systems》
</ul>

介紹:Google論文：設計一個高可用的全球分布式存儲系統。

• 《Calvin: Fast Distributed Transactions For Partitioned Database Systems》
</ul>

介紹:對于分區數據庫的分布式事務處理。

• 《Distributed Systems Building Block: Flake Ids》
</ul>

介紹:Distributed Systems Building Block: Flake Ids.

• 《Introduction to Distributed System Design》
</ul>

介紹:Google Code University課程，如何設計一個分布式系統。

• 《Sheepdog: Distributed Storage System for KVM》
</ul>

介紹:KVM的分布式存儲系統.

• 《Readings in Distributed Systems Systems》
</ul>

介紹:分布式系統課程列表,包括數據庫、算法等.

• 《Tera》
</ul>

介紹:分布式表格系統.

• 《Distributed systems: for fun and profit》
</ul>

介紹:分布式系統的在線電子書.

• 《Distributed Systems Reading List》
</ul>

介紹:分布式系統資料,此外還推薦Various articles about distributed systems.

• 《Designs, Lessons and Advice from Building Large Distributed Systems》
</ul>

介紹:Designs, Lessons and Advice from Building Large Distributed Systems.

• 《Testing a Distributed System》
</ul>

介紹:Testing a distributed system can be trying even under the best of circumstances.

• 《The Google File System》
</ul>

介紹: 基于普通服務器構建超大規模文件系統的典型案例，主要面向大文件和批處理系統， 設計簡單而實用。 GFS是google的重要基礎設施， 大數據的基石， 也是Hadoop HDFS的參考對象。 主要技術特點包括： 假設硬件故障是常態（容錯能力強）， 64MB大塊， 單Master設計，Lease/鏈式復制， 支持追加寫不支持隨機寫.

• 《Bigtable: A Distributed Storage System for Structured Data》
</ul>

介紹:支持PB數據量級的多維非關系型大表， 在google內部應用廣泛，大數據的奠基作品之一 ， Hbase就是參考BigTable設計。 Bigtable的主要技術特點包括： 基于GFS實現數據高可靠， 使用非原地更新技術（LSM樹）實現數據修改， 通過range分區并實現自動伸縮等.

• 《PacificA: Replication in Log-Based Distributed Storage Systems》
</ul>

介紹:面向log-based存儲的強一致的主從復制協議， 具有較強實用性。 這篇文章系統地講述了主從復制系統應該考慮的問題， 能加深對主從強一致復制的理解程度。 技術特點： 支持強一致主從復制協議， 允許多種存儲實現， 分布式的故障檢測/Lease/集群成員管理方法.

• 《Object Storage on CRAQ, High-throughput chain replication for read-mostly workloads》
</ul>

介紹:分布式存儲論文:支持強一直的鏈式復制方法， 支持從多個副本讀取數據,實現code.

• 《Finding a needle in Haystack: 非死book’s photo storage》
</ul>

介紹:非死book分布式Blob存儲,主要用于存儲圖片. 主要技術特色:小文件合并成大文件,小文件元數據放在內存因此讀寫只需一次IO.

• 《Windows Azure Storage: A Highly Available Cloud Storage Service with Strong Consistency》
</ul>

介紹: 微軟的分布式存儲平臺, 除了支持類S3對象存儲，還支持表格、隊列等數據模型. 主要技術特點：采用Stream/Partition兩層設計（類似BigTable）;寫錯（寫滿）就封存Extent,使得副本字節一致, 簡化了選主和恢復操作; 將S3對象存儲、表格、隊列、塊設備等融入到統一的底層存儲架構中.

• 《Paxos Made Live – An Engineering Perspective》
</ul>

介紹:從工程實現角度說明了Paxo在chubby系統的應用， 是理解Paxo協議及其應用場景的必備論文。 主要技術特點： paxo協議， replicated log， multi-paxo.

• 《Dynamo: Amazon’s Highly Available Key-Value Store》
</ul>

介紹:Amazon設計的高可用的kv系統,主要技術特點：綜和運用一致性哈希,vector clock,最終一致性構建一個高可用的kv系統， 可應用于amazon購物車場景.新內容來自分布式存儲必讀論文

• 《Efficient Replica Maintenance for Distributed Storage Systems》
</ul>

介紹:分布式存儲系統中的副本存儲問題.

• 《PADS: A Policy Architecture for Distributed Storage Systems》
</ul>

介紹:分布式存儲系統架構.

來自：https://github.com/ty4z2008/Qix/blob/master/ds.md