Apache Giraph 是一個可伸縮的分布式迭代圖處理系統，靈感來自 BSP (bulk synchronous parallel) 和 Google 的 Pregel. Giraph 區別于其他項目的是開源、基于

Kochiku 是一個自動化測試系統的分布式平臺，包含3個組件： Web 服務器：你可以檢視構建和管理資料庫 后臺作業：將構建切分成多個部分 Workers 用來獨立允許某個構建的部分 一般一個單擊可運行

Mahout知名度很高，是Apache基金資助的重要項目，Mahout是一個分布式機器學習算法的集合，協同過濾只是其中的一部分。除了被稱為Taste的分布式協同過濾的實現（Hadoop-based，另有pure Ja

ModeShape是一個分布式，層次化，事務性的，一致的數據存儲。支持查詢、全文搜索、事件，版本控制，引用和靈活的動態架構。它非常快的，高度可用，高度可擴展，100％開源和采用Java編寫。 客戶端使用

分布式鎖是一個在很多環境中非常有用的原語， 它是不同進程互斥操作共享資源的唯一方法。有很多的開發庫和博客描述如何使用Redis實現DLM（Distributed Lock Manager ），但是每個

Dynamo whitepaper ，是一個輕量級、分布式的 Dynamo 層，用于不同的 K/V 存儲和協議。 Dynamo 是 Amazon 公司的一個分布式 存儲 引擎。 Dynomite 拓撲結構：

Katta是一個可擴展的、故障容錯的、分布式實施訪問的數據存儲。 Katta可用于大量、重復、索引的碎片，以滿足高負荷和巨大的數據集。這些索引可以是不同的類型。當前該實現在 Lucene 和 Hadoop

Kafka是分布式發布-訂閱消息系統。它最初由LinkedIn公司開發，之后成為Apache項目的一部分。Kafka是一個分布式的，可劃分的，冗余備份的持久性的日志服務。它主要用于處理活躍的流式數據。

EasySchedule 是基于quartz的集群、分布式任務調度平臺。廣告技術部前端原有定時任務功能 相對比較簡單，交互性差，任務部署效率低， 開發和維護成本高，不能很好滿足各系統定時任務 的管理和控制；

Baratine 是新的分布式，基于內存的 Java 服務平臺，可以構建高性能的 Web 服務，在同一個 JVM 中結合數據和邏輯。在 Baratine 中，數據和服務是一體的，服務擁有它自己的數據：

e。我的實現方法是把標簽庫存儲成HDFS上的文件，用分布式緩存存儲，這樣讓每個slave都能讀取到這個文件。 main方法中的配置： //分布式緩存要存儲的文件路徑 String cachePath[]

Flume是一個分布式、可靠、和高可用的海量日志采集、聚合和傳輸的系統。支持在系統中定制各類數據發送方，用于收集數據；同時，Flume提供 對數據進行簡單處理，并寫到各種數據接受方（可定制）的能力。F

Zookeeper是一個高性能，分布式的，開源分布式應用協調服務。它提供了簡單原始的功能，分布式應用可以基于它實現更高級的服務，比如同步， 配置管理，集群管理，名空間。它被設計為易于編程，使用文件系統

夠從各種日志源上收集日志，存儲到一個中央存 儲系統（可以是NFS，分布式文件系統等）上，以便于進行集中統計分析處理。它為日志的“分布式收集，統一處理”提供了一個可擴展的，高容錯的方案。當中 央存儲系統

也有可以構建復雜的pipeline做一代碼優化和任務調度的好處，但目前還需要程序員來配置資源分配。 Spark在設計分布式數據集API時，模擬了Scala集合的操作API，使得額外的語法學習成本比Dataflow要低。

Pfs是一個類似于Git的分布式文件系統，專門構建用于Docker生態系統。你需要使用 Docker 來部署它，就像在您堆棧中的其他應用程序。此外，MapReduce的jobs被指定為Docker容器，而不是

Chukwa 是一個開源的用于監控大型分布式系統的數據收集系統。它構建在 hadoop 的 hdfs 和 map/reduce 框架之上的，繼承了 hadoop 的可伸縮性和魯棒性。Chukwa 還包

tk/distributed-tracing.md 分布式跟蹤系統調研 介紹 把分布式系統中各個組件的工作匯總起來，就可以得到一個全面的跟蹤系統。 每個公司都會有一套自己的分布式跟蹤系統。Google的Dappe

IPFS 是分布式文件系統，尋求連接所有計算機設備的相同文件系統。在某些方面，這很類似于原始的 Web 目標，但是 IPFS 最終會更像單個比特流群交換的 git 對象。 IPFS 云成為一個新的

三臺機器，centos6.5， master、slave1、slaver2分布式安裝hadoop1.2 配置環境 準備： 三臺虛擬機 配置主節點： 1. 查看當前使用網卡 [root@localhost