Hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。<br> Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性（fault-tolerent）的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統中的數據。

一、安裝sun的jdk和hadoop，不要使用open-jdk本人安裝的jdk1.7.0.rpm包（默認安裝路勁為/usr/java/jdk1.7.0）解壓hadoop-0.20.2到：/home/hadoop/。

Hadoop是Google MapReduce 的一個Java實現。MapReduce是一種簡化的分布式編程模式，讓程序自動分布到一個由普通機器組成的超大集群上并發執行。就如同java程序員可以不考慮內存泄露一樣， MapReduce的run-time系統會解決輸入數據的分布細節，跨越機器集群的程序執行調度，處理機器的失效，并且管理機器之間的通訊請求。這樣的模式允許程序員可以不需要有什么并發處理或者分布式系統的經驗，就可以處理超大的分布式系統得資源。

Hadoop作為Apache基金會資助的開源項目，由Doug Cutting帶領的團隊進行開發，基于Lucene和Nutch等開源項目，實現了Google的GFS和Hadoop能夠穩定運行在20個節點的集群；2006年1月，Doug Cutting加入雅虎公司，同年2月Apache Hadoop項目正式支持HDFS和MapReduce的獨立開發。同時，新興公司Cloudera為Hadoop提供了商業支持，幫助企業實現標準化安裝，并志愿貢獻社區。Hadoop的最新版本是0.21.0，說明其還在不斷完善發展之中。<br> Hadoop由分布式存儲HDFS和分布式計算MapReduce兩部分組成。HDFS是一個master/slave的結構，就通常的部署來說，在master上只運行一個Namenode，而在每一個slave上運行一個Datanode。MapReduce是Google的一項重要技術，它是一個編程模型，用以進行大數據量的計算。MapReduce的名字源于這個模型中的兩項核心操作：Map和Reduce。Map是把一組數據一對一的映射為另外的一組數據，Reduce是對一組數據進行歸約，映射和歸約的規則都由一個函數指定。

上就出現了一個類似的解決方案，目前它們都屬于Apache的Hadoop項目，對應的分別是：Chubby-->ZooKeeperGFS-->HDFSBigTable-->HBaseMapReduce-->Hadoop目前，基于類似思想的OpenSource項目還很多，如Facebook用于用戶分析的Hive。HDFS作為一個分布式文件系統，是所有這些項目的基礎。分析好HDFS，有利于了解其他系統。由于Hadoop的HDFS和MapReduce是同一個項目，我們就把他們放在一塊，進行分析。下圖是MapReduce整個項目的頂層包圖和他們的依賴關系。Hadoop包之間的依賴關系比較復雜，原因是HDFS提供了一個分布式文件系統，該系統提供API，可以屏蔽本地文件系統和分布式文件系統，甚至象AmazonS3這樣的在線存儲系統。這就造成了分布式文件系統的實現，或者是分布式文件系統的底層的實現，依賴于某些貌似高層的功能。功能的相互引用，造成了蜘蛛網型的依賴關系。一個典型的例子就是包conf，conf用于讀取系統配置，它依賴于fs，主要是讀取配置文件的時候，需要使用文件系統，而部分的文件系統的功能，在包fs中被抽象了。

Hadoop集群搭建機器規格CPU：2個四核2~2.5GHzCPU內存：8~16GBECCRAM(非ECC會產生校驗和錯誤)存儲器：4*1TSATA硬盤（硬盤大小一般是數據量的3—5倍）網絡：千兆以太網PS：namenode一般采用64位硬件，避免32位機java堆3g限制具體規格情況跟數據量有關。

在輸入數據的“邏輯”記錄上應用Map操作得出一個中間Key/value pair集合。在所有具有相同key值的value值上應用Reduce操作，從而達到合并中間的數據，得到一個想要的結果的目的

Google的十個核心技術，而且可以分為四大類： 分布式基礎設施：GFS、Chubby 和 Protocol Buffer。 分布式大規模數據處理：MapReduce 和 Sawzall。 分布式數據庫技術：BigTable 和數據庫 Sharding。 數據中心優化技術：數據中心高溫化、12V電池和服務器整合。

Streaming框架允許任何程序語言實現的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平臺移植。因此可以說對于hadoop的擴展性意義重大，今天簡單說一下。<br> Streaming的原理是用Java實現一個包裝用戶程序的MapReduce程序，該程序負責調用MapReduce Java接口獲取key/value對輸入，創建一個新的進程啟動包裝的用戶程序，將數據通過管道傳遞給包裝的用戶程序處理，然后調用MapReduce Java接口將用戶程序的輸出切分成key/value對輸出。

從網上搜集的各種優化，標記下。 1. 網絡帶寬 Hadoop集群的服務器在規劃時就在統一的交換機下，這是在官方文檔中建議的部署方式。 但是我們的這臺交換機和其他交換機的互聯帶寬有限，所以在客戶端遇到了HDFS訪問速度慢的問題。 把操作集群的客戶端也聯入DataNode的交換機內部，解決了這個問題。 2. 系統參數 對ulimit -c的修改也是官方文檔建議的修改，在集群只有10臺服務器時，并沒有遇

Mapreduce hadoop hive三者關系Hadoop是2005 Google MapReduce的一個Java實現。MapReduce是一種簡化的分布式編程模式，讓程序自動分布到一個由普通機器組成的超大集群上并發執行。就如同java程序員可以不考慮內存泄露一樣，MapReduce的run-time系統會解決輸入數據的分布細節，跨越機器集群的程序執行調度，處理機器的失效，并且管理機器之間的通訊請求。這樣的模式允許程序員可以不需要有什么并發處理或者分布式系統的經驗，就可以處理超大的分布式系統得資源。（就是抽象）不管過去，現在是Apache軟件基金會管理的開源項目基本架構 - Hadoop是如何構成的Hadoop主要由HDFS(HadoopDistributedFileSystem)和MapReduce引擎兩部分組成最底部是HDFS，它存儲Hadoop集群中所有存儲節點上的文件。HDFS的上一層是MapReduce引擎，該引擎由JobTrackers和TaskTrackers組成。

Apache Hadoop是一個用java語言實現的軟件框架，在由大量計算機中運行海量數據的分布式計算，它可以讓應用程序支持上千個節點和PB級 Hadoop是從google的MapReduce和Google文件系統的論文獲得的靈 Hadoop是Apache的一線項目，開發和實用來自世界各地的社區，Yah 止最大的貢獻者，并且Yahoo廣泛使用它在搜索業務和廣告業務上。IBM和聯合就是使用的Hado

1.sudo apt-get install stardict 2. 到 http: //stardict.sourceforge.net/Dictionaries.php 下載辭典： stardict-langdao-ce-gb-2.4.2.tar.bz2 朗道英漢雙語 stardict-oxford-gb-2.4.2.tar.bz2? 牛津英漢 stardict-kdic-computer-g

http://write.blog.csdn.net/postedit

如果做過Android（和Java）的開發，很有可能已經聽說過RxJava了。RxJava是由Netflix開發的響應式擴展（Reactive Extensions）的Java實現。引用MSDN上對它的定義，Reactive Extensions是這樣一個第三方庫：它結合了可觀察集合和LINQ式查詢以達到異步和基于事件的編程效果。Netflix將這個庫托管到了Github上，支持Java6以上的版本并且使它可以用于Android App開發。<br> 本篇是介紹RxJava和Android的系列文章的第一篇，將會介紹如何在Android中使用RxJava observables（基于Square的Retrofit組件）創建REST API客戶端。

模仿IOS里面的UIActionSheet控件，有IOS6和IOS7兩種風格，可以自定義風格，背景圖片、按鈕圖片、文字顏色、間距等。

安卓基于linux，所以很多地方都可以視為linux的操作。

import java.lang.reflect.InvocationTargetException; import java.lang.reflect.Method; import java.util.Map; import android.content.Context; import android.content.SharedPreferences; public class SPUtil

Hadoop和Hadoop的生態系統資源列表。

Hadoop一直是我想學習的技術，正巧最近項目組要做電子商城，我就開始研究Hadoop，雖然最后鑒定Hadoop不適用我們的項目，但是我會繼續研究下去，技多不壓身。