摘要我們已經設計和實現了Google File System，一個適用于大規模分布式數據處理相關應用的，可擴展的分布式文件系統。它基于普通的不算昂貴的硬件設備，實現了容錯的設計，并且為大量客戶端提供極高的聚合處理性能。我們的設計目標和上一個版本的分布式文件系統有很多相同的地方，我們的設計是依據我們應用的工作量以及技術環境來設計的，包括現在和預期的，都有一部分和早先的文件系統的約定有所不同。這就要求我們重新審視傳統的設計選擇，以及探索究極的設計要點。

{本文的翻譯可能有不準確的地方,詳細資料請參考原文.}摘要bigtable是設計來分布存儲大規模結構化數據的，從設計上它可以擴展到上２^50字節，分布存儲在幾千個普通服務器上．Ｇoogle的很多項目使用ＢＴ來存儲數據，包括網頁查詢，googleearth和google金融．這些應用程序對ＢＴ的要求各不相同：數據大小（從URL到網頁到衛星圖象）不同，反應速度不同（從后端的大批處理到實時數據服務）．對于不同的要求，ＢＴ都成功的提供了靈活高效的服務．在本文中，我們將描述ＢＴ的數據模型．這個數據模型讓用戶動態的控制數據的分布和結構．我們還將描述ＢＴ的設計和實現．

海量數據處理平臺架構一般網站把用戶的訪問行為記錄以apach日志的形式記錄下來了，這些日志中包含了下面一些關鍵字段：client_ip,user_id,access_time,url,referer,status,page_size,agent因為需要統一對數據進行離線計算，所以常常把它們全部移到同一個地方。簡單算了一下：（1）網站請求數：1kw/天（2）每天日志大小：450Byte/行*1kw=4.2G，（3）日志存儲周期：2年一天產生4.5G的日志，2年需要4.2G*2*365=3.0T解決方案：為了方便系統命令查看日志，不壓縮，總共需要3.0T的空間，剛好有一些2U的服務器，每臺共1T的磁盤空間。

第3章：MapReduce—分布式計算系統3.1.MapReduce是什么？Python中的map和reduce如果我們把MapReduce拆開看，就是兩個單詞map和reduce。在本書中，map翻譯為“映射”，reduce翻譯為“歸約”。這兩個單詞在有的編程語言中屬于內置的兩個函數。我們以Python語言舉例，該語言中map、reduce屬于內置函數。先看一下map函數的用法，如圖5-2所示。圖5-2在圖5-2中，第一行表示定義一個列表變量，有5個元素。

分布式集群系統安裝偽分布模式安裝比較簡單，集群模式是在偽分布模式基礎上進行修改的，所以偽分布模式安裝必須搞定。以下是操作步驟1.確定集群的結構由于SecondaryNameNode是執行合并任務的，內存占用特別大，所以單獨一臺大內存的節點。以上4個ip可以是單獨的物理機，也可以是虛擬機。生產環境中，一般是物理機。假設各節點安裝的linux版本完全一致。

VirtualBox號稱是免費虛擬機軟件中最強的，擁有豐富的特色和出色的性能，在虛擬機市場占用重要地位。我們選擇它的理由是：*安裝程序體積小。相對于同類產品VMWare的四五百兆的體積，VirtualBox只有幾十兆的安裝程序，安裝完成后也只有120多兆，太小巧了。*功能簡單實用。配置簡單、克隆系統、共享文件、虛擬化等一樣不缺*免費。這是最大的誘惑。

今天咱們學習下MapReduce模型。由于是本人是初次接觸，不是很了解。所以，有任何問題，還望各位不吝批評指正。本文中，我會先用最最通俗的語言闡述什么是MapReduce，然后再摘自Google MapReduce中文版上的一些內容，以期對這個模型有個初步的了解與認識。ok，閑不多說，下面進入正題。

“SaaS時代的軟件開發”專題活動邀請了阿里軟件研究 院資深經理王安全老師作客51CTO嘉賓聊天室，向大家講解SaaS應用開發對開發人員提出的新挑戰，與網友深入探討SaaS平臺、Open API和編程語言方面的話題，帶領大家走進SaaS開發。

Hadoop 是一個能夠對大量數據進行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴于社區服務器，因此它的成本比較低，任何人都可以使用。

基于hadoop的云梯一群集已經達到了1400臺服務器的規模，淘寶數據倉庫的數據量已經達到了1PB（實際存儲3PB）；B2B的數據倉庫的數據量也已經達到了320TB，預計2011年底必然會達到1PB。越來越多的用戶和業務數據被記錄在案，10億條記錄，只能存放B2B中文站2天的頁面曝光訪問(CTR)記錄。在這樣一個數據不斷膨脹的時代中，數據已經如洪水般洶涌泛濫。數據查找和調用困難，一些用戶提出申請之后往往要等到第二天才能得知結果，直接影響到了用戶滿意度的提升和新業務的布局。在技術上，我們需要一個怎樣的技術基礎架構，才能夠滿足數據量的不斷膨脹下的計算和存儲需求。而當我們解決了最基礎的數據量和計算能力這個溫飽問題后，開始把目光移向數據服務、數據價值的時候，我們又需要怎樣的技術基礎架構，能夠將如此海量的數據提供對外的服務，將我們對數據的認識直接轉換為數據的產品并為我們的最終客戶帶來真正的價值？

Hadoop: A Software Framework for Data Intensive Computing Applications

Job – A “full program” - an execution of a Mapper and Reducer across a data set Task – An execution of a Mapper or a Reducer on a slice of data a.k.a. Task-In-Progress (TIP) Task Attempt – A particular instance of an attempt to execute a task on a machine

此文檔是用戶使用Hadoop集群或普通單機分布式文件存儲系統（HDFS）開展工作的起點，盡管HDFS被設計成適應于許多環境，有用的HDFS知識能大大幫助我們優化配置及診斷具體集群的問題。HDFS是Hadoop應用使用的主要分布式存儲器，HDFS集群主要由管理文件系統元數據的NameNode（名稱節點）和存儲實際數據的DataNode（數據節點）組成。HDFS架構指南詳細途述了HDFS。

主要內容pig簡介安裝及工具用法pig基礎概念pig常用操作pig內建函數廣點通PB用法主要內容pig簡介安裝及工具用法pig基礎概念pig常用操作pig內建函數廣點通PB用法pig是什么？運行在Hadoop平臺上的海量數據分析工具PigLatin語言和PigEnginepig名稱的來歷pig什么都吃，不管數據有沒有結構化pig很溫馴，數據處理流程很好控制pig隨遇而安，不管數據在哪里都能處理pig開源項目現狀當前版本

Hadoop基本概念，Hadoop的應用范圍，Hadoop底層實現原理，Hive與數據分析，Hadoop集群管理典型的Hadoop離線分析系統架構。

1：大規模數據處理的問題1990年，一個普通的硬盤驅動器可存儲1370MB的數據并擁有4.4MB/s的傳輸速度，所以，只需五分鐘的時間就可以讀取整個磁盤的數據。20年過去了，1TB級別的磁盤驅動器是很正常的，但是數據傳輸的速度卻在100MB/s左右。所以它需要花兩個半小時以上的時間讀取整個驅動器的數據。從一個驅動器上讀取所有的數據需要很長的時間，寫甚至更慢。如何解決？一個很簡單的減少讀取時間的辦法是同時從多個磁盤上讀取數據。試想一下，我們擁有100個磁盤，每個存儲百分之一的數據。如果它們并行運行，那么不到兩分鐘我們就可以讀完所有的數據。2：Hadoop的由來談到Hadoop就不得不提到Lucene和Nutch。

主庫自動切換“漂移”——基于zookeeper分布式選舉和一致性保證朱金清(穆公)mugong.zjq@taobao.com微博：suinking大綱背景基于zk的分布式選舉切換的數據一致性保證zk的監控效果頁面總結背景互聯網應用以普通的PC服務器為主免費的開源軟件:Linux平臺、mysql分布式系統的本質困難Partialfailure部分故障如果要么一個都不壞，要么全壞，那處理簡單多了無法及時準確定位出故障的原因背景-可靠性衡量可靠性指標。

本文以ZooKeeper3.4.3版本的官方指南為基礎.補充一些作者運維實踐中的要點，圍繞ZK的部署和運維兩個方面講一些管理員需要知道的東西。

簡介：?Zookeeper分布式服務框架是Apache Hadoop的一個子項目，它主要是用來解決分布式應用中經常遇到的一些數據管理問題，如：統一命名服務、狀態同步服務、集群管理、分布式應用配置項的管理等。本文將從使用者角度詳細介紹Zookeeper的安裝和配置文件中各個配置項的意義，以及分析Zookeeper的典型的應用場景（配置文件的管理、集群管理、同步鎖、Leader選舉、隊列管理等），用Java實現它們并給出示例代碼。

HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。 此外，Pig和Hive還為HBase提供了高層上圖描述了Hadoop EcoSystem中的各層系統，其中HBase位于結構化存儲層，Hadoop HDFS為HBase提供了高可靠性的底層存儲支持，Hadoop MapReduce為HBase提供了高性能的計算能力，Zookeeper為HBase提供了穩定服務和failover機制。 語言支持，使得在HBase上進行數據統計處理變的非常簡單。 Sqoop則為HBase提供了方便的RDBMS數據導入功能，使得傳統數據庫數據向HBase中遷移變的非常方便。