hadoop再次集群搭建(3)-如何選擇相應的hadoop版本
之前接觸過很多很多hadoop版本,現在重新搭建平臺,面臨選擇哪個版本的問題。
當我們決定是否采用某個軟件用于開源環境時,通常需要考慮以下幾個因素:
( 1 )是否為開源軟件,即是否免費。
( 2 ) 是否有穩定版,這個一般軟件官方網站會給出說明。
( 3 ) 是否經實踐驗證,這個可通過檢查是否有一些大點的公司已經在生產環境中使用知道。
( 4 ) 是否有強大的社區支持,當出現一個問題時,能夠通過社區、論壇等網絡資源快速獲取解決方法。
對于版本選擇, dongxicheng在他的博客中做過總結: 點擊這個鏈接可以查看。 </div>
版本一覽表:

現在最新的版本截圖:

Apache Hadoop的版本,目前有1.x 和 2.x版本。3.x版本在測試中。
1.x版本,比較經典,使用者很多。2.x版本,和1.x并不兼容。2.x完全推翻了1.x的代碼,重新編寫的。內部思想有借鑒。
A.經典版本 0.20.2 → 1.0.0 (第一個1.0.0的正式版本) → 1.0.3和1.0.4 (生產環境使用的較多的版本) → 1.1.2, 1.2.1(目前最新版本)
B.上面的0.21.0和0.22.0 這個分枝,就不提了。
C.下面說0.23.0(跨越版本,Yarn框架,第二代MapReduce框架,資源管理和任務調度框架) → xxx →0.23.10(目前最新版本,不過和2.x有點區別,就是不支持HA和Federation)
D.下面就是2.x版本了。將1.x和0.23.0系列合并。
①2.0.x版本:屬于2.x系列版本的alpha版本。
②2.1.x版本:屬于2.x系列版本的beta版本。
③2.2.0 ,2.3.0 , 2.4.0 正式版本,可用于實際生產環境中。
大部分情況下,我們可以選擇
Apache社區版本:
完全開源,免費,非商業。apache社區的hadoop版本分枝較多,而且部分hadoop存在bug。在選擇hadoop,hbase,hive等時,需要考慮兼容性。
Cloudera版本:
開源,免費,有商業和非商業版本。是在apache社區版本的hadoop基礎上,選擇相對穩定版本的hadoop,并在此基礎上,進行bug修改和維護。使用者不必考慮hadoop,hbase,hive等在使用過程中,版本兼容性。
Hortonworks版本:
開源,免費,有商業和非商業版本。是在Apache基礎上修改,具有apache的特色。
推薦:
實驗環境使用cloudera,生產環境,看情況而定。
我分別詢問了兩個朋友,一個剛剛在平安信托任職大數據崗位,使用的版本是1.X,第二個朋友在安富利任職工程師,推薦我使用cloudera manager5.4.3 對應的hadoop是2.6。由此可知,2.6是最新的版本了,之前我使用的是1.2.1,現在也是時候使用更新的版本了。個人認為,如果是學習,就要學習最新的,如果是生產環境,就要用老一點的版本。
經過糾結,決定選擇 cloudera manager5.4.3 對應的hadoop是2.6。cloudera manager可以很方便的安裝hadoop,方便使用。
Charles 于2015-12-17 Phnom Penh
版權說明:
本文由Charles Dong原創,本人支持開源以及免費有益的傳播,反對商業化謀利。
CSDN博客:http://blog.csdn.net/mrcharles
個人站:http://blog.xingbod.cn
EMAIL:charles@xingbod.cn
來自: http://blog.csdn.net//mrcharles/article/details/50340149
本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!