hadoop分布式集群搭建

最近做了一個項目，要求找出二度人脈的一些關系，就好似新浪微博的“你可能感興趣的人” 中，間接關注推薦；簡單描述：即你關注的人中有N個人同時都關注了 XXX 。

有很多方式可以使得NN更加的Available，例如：減少啟動時間，配置熱刷選，減少升級時間，NN的手動或自動的Failover。本文檔通過Failover來解決NN的SPOF問題 有很多種...

要把N個超級大表導入HBase，N是按月來分的，表：億+的行數，100+的字段。測試過sqoop，JDBC，性能都不滿意，對任務失敗重做也很麻煩，HBase的批量導出還靠譜點

百度的高性能計算系統(主要是后端數據訓練和計算)目前有4000節點，超過10個的集 群，最大的集群規模在1000個節點以上。每個節點由8核CPU以及16G內存以及12TB硬盤組成，每天的數據生成量在3PB以上。

Drill是一個分布式系統用于大型數據集的互動分析，類似于 Google 的 Dremel。

全球虛擬化和云基礎架構領導廠商VMware公司公布了最新開源項目 - Serengeti，支持企業能夠在虛擬和云環境中快速部署、管理和擴展Apache Hadoop。用于在虛擬平臺上快速開發一個...

Sqoop是一個用來將Hadoop和關系型數據庫中的數據相互轉移的工具，可以將一個關系型數據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導入到Hadoop的HDFS中...

在Spring框架下支持編寫 Hadoop 應用。Spring Hadoop使MapReduce、Streaming、Hive、Pig和級聯工作能夠通過Spring容器執行。Hadoop分布式文...

Cascading是一個應用程序框架，能夠幫助開發人員快速開發基于Apache Hadoop 的 健壯數據分析和數據管理應用程序。

Azkaban是個簡單的批處理調度器，用來構建和運行Hadoop作業或其他脫機過程。

Apache HCatalog是基于Apache Hadoop之上的數據表和存儲管理服務。

Cloudera 的定位在于 Bringing Big Data to the Enterprise with Hadoop

著名音樂站點Last.fm發布了基于Python的Dumbo（小 飛象）項目，Dumbo能夠幫助Python開發者更方便的編寫Hadoop應用，并且Dumbo為MapReduce應用提供了靈活易...

Happy 為Jython開發者使用Hadoop框架提供了便利，Happy框架封裝了Hadoop的復雜調用過程，讓Map-Reduce開發變得更為容易。

談到分布式系統，就不得不提到Google的三駕馬車:GFS[1],MapReduce[2]和BigTable[3]。 雖然Google沒有開源這三個技術的實現源碼，但是基于這三篇開源文檔, Nu...

應用程序通常會通過提供map和reduce來實現 Mapper和Reducer接口，它們組成作業的核心。

Hadoop的MongoDB適配器。需要MongoDB Java Driver 2.7.3+支持。

經過一整天的折騰，參考了網上很多資料，我機器上的Hadoop似乎是配置成功了。下面分享一下詳細的配置過程。也祝愿大家在配置的過程中少走彎路。

這里將自己在初識hadoop過程中遇到的一些錯誤做一個簡單總結：