Hadoop讓大數據分析走向了大眾化，然而它的部署仍需耗費大量的人力和物力。在直奔Hadoop之前，是否已經將現有技術推向極限？這里總結了對Hadoop投資前可以嘗試的10個替代...

有人問我，“你在大數據和Hadoop方面有多少經驗？”我告訴他們，我一直在使用Hadoop，但是很少處理幾TB以上數據的任務 。我基本上只是一個大數據新手——知道概念，寫過代碼，但是沒有...

當map task開始運算，并產生中間數據時，其產生的中間結果并非直接就簡單的寫入磁盤。這中間的過程比較復雜，并且利用到了內存buffer來進行已經產生的 部分結果的緩存，并在內存buffer中...

hadoop2.2.0安裝筆記

The Hadoop Development Tools (HDT) 是 針對 Hadoop 平臺開發的一組 Eclipse IDE插件集合。

Sentry 是Cloudera 公司發布的一個Hadoop開源組件，它提供細粒度基于角色的安全控制

hadoop-2.2.0+spark1.1.0安裝過程

最近在網上又看到有關于Hadoop適用性的討論[1]。想想今年大數據技術開始由互聯網巨頭走向中小互聯網和傳統行業，估計不少人都在考慮各種“紛繁復雜”的大數據技術的適用性的問題。這兒我就結合我這幾...

Hadoop技術已經無處不在。不管是好是壞，Hadoop已經成為大數據的代名詞。短短幾年間，Hadoop從一種邊緣技術成為事實上的標準。看來，不僅現在Hadoop是企業大數據的標準，而且在未來，...

Hadoop家族系列文章，主要介紹Hadoop家族產品，常用的項目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Amba...

hadoop分布式部署

對于hadoop HDFS 中的所有命令進行解析

同時支持內存和CPU兩種資源的調度（默認只支持內存，如果想進一步調度CPU，需要自己進行一些配置），本文將介紹Hadoop YARN是如何對這些資源進行調度和隔離的。

使用Hadoop已經有一段時間了，從開始的迷茫，到各種的嘗試，到現在組合應用….慢慢地涉及到數據處理的事情，已經離不開hadoop了。Hadoop在大數據領域的成功，更引發了它本身的加速發展。現...

對于業界的大數據存儲及分布式處理系統來說，Hadoop 是耳熟能詳的卓越開源分布式文件存儲及處理框架，對于 Hadoop 框架的介紹在此不再累述，讀者可參考 Hadoop 官方簡介。使用和學習過...

新版本日志系統預計存儲在TB級別，并且需要統計分析一些數據（離線統計，非即時），所以選擇廉價linux服務器搭建一個hadoop集群，1個namenode，1個resourcemanager(m...

這是一本小書而不是一篇文章，因為它詳實細致的讓你從一個完全不了解大數據技術及相關應用的門外漢，變成一個熟知其概念和意義的“內行人”，

在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在單點故障（single point of failure），每一個集群中存在一個NameNode，如果NN所在的機器出現...

大數據時代，研究大數據的IT 廠商把研究重心放在優化大數據系統軟件架構、優化業務邏輯、優化數據分析算法、優化節點性能等方向，而忽略了大數據環境基礎設置中網絡環節的評估和優化。

Microsoft .NET SDK For Hadoop 是個 Hadoop WebClient 的 .NET SDK。這個工具包提供 .NET API ，用來訪問 HDInsight 方面（...