本文匯總了幾個hadoop yarn中常見問題以及解決方案，注意，本文介紹解決方案適用于hadoop 2.2.0以及以上版本。 （1） 默認情況下，各個節點的負載不均衡（任務數目不同），有...

對于業界的大數據存儲及分布式處理系統來說，Hadoop 是耳熟能詳的卓越開源分布式文件存儲及處理框架，對于 Hadoop 框架的介紹在此不再累述，讀者可參考 Hadoop 官方簡介。使用和學習過...

Bigtop 是一個工程的系統開發包，對Apache Hadoop生態系統的測試。 Bigtop的主要目標就是構建一個Apache Hadoop生態系統的包和交互式測試的社區。這個包括對各類...

Skylable SX 是一個用來滿足你數據存儲需求的可靠的、強大的完全分布式的解決方案。可聚合來自多臺服務器上的可用磁盤空間到一個單一的存儲系統。集群本身確保你的數據是通過多個節點復制和同步的...

新版本日志系統預計存儲在TB級別，并且需要統計分析一些數據（離線統計，非即時），所以選擇廉價linux服務器搭建一個hadoop集群，1個namenode，1個resourcemanager(m...

這是一本小書而不是一篇文章，因為它詳實細致的讓你從一個完全不了解大數據技術及相關應用的門外漢，變成一個熟知其概念和意義的“內行人”，

在應用中使用zookeeper大多數情況都是使用zookeeper提供的客戶端，然后我們在生產環境還需要部署zookeeper的服務端，本文寫了一個啟動類，用于在程序中啟動zookeeper服務。

Sirius 是一個來自 Comcast 的開源的分布式系統庫，為你的應用程序提供方便、低延遲的訪問呢重要的參考數據，這些數據的特點是小、相對很少更新的只讀數據集。由于目前的內存資源成本越來越低...

Hadoop中關于文件操作類基本上全部是在＂org.apache.hadoop.fs＂包中，這些API能夠支持的操作包含：打開文件，讀寫文件，刪除文件等。

Dubbo是阿里巴巴內部的SOA服務化治理方案的核心框架，每天為2000+ 個服務提供3,000,000,000+ 次訪問量支持，并被廣泛應用于阿里巴巴集團的各成員站點。Dubbo自2011年開...

在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在單點故障（single point of failure），每一個集群中存在一個NameNode，如果NN所在的機器出現...

Storm是什么? Storm是Twitter開源的一個分布式的實時計算系統 使用場景: 數據的實時分析,持續計算,分布式RPC等等.

大數據時代，研究大數據的IT 廠商把研究重心放在優化大數據系統軟件架構、優化業務邏輯、優化數據分析算法、優化節點性能等方向，而忽略了大數據環境基礎設置中網絡環節的評估和優化。

因為spark文檔中只介紹了兩種用腳本提交到yarn的例子，并沒有介紹如何通過程序提交yarn，但是我們的需求需要這樣。網上很難找到例子，經過幾天摸索，終于用程序提交到yarn成功，下面總結一下。

hadoop一個用 于在普通硬件構成 的大集群上運行應用程序的框架。Hadoop框架透明地為應用程序提供可靠性與數據移動保障。Hadoop實現了一個被稱為 mapReduce的 計算模型，在這個...

hadoop2.0集群搭建詳解

Spark的核心概念是RDD (resilientdistributed dataset)，指的是一個只讀的，可分區的分布式數據集，這個數據集的全部或部分可以緩存在內存中，在多次計算間重用。

Storm所說的Realtime，個人理解不是強調批量數據處理的快速和隨機性，而更多的是強調對實時數據流的連續處理（Stream），相對的概念是HadoopMapReduce框架的Batch處理...

White Elephant 是一個 Hadoop 的日志聚合器和操作面板，可對 Hadoop 集群進行可視化監控。目前還不支持 Hadoop 2.0 版本。

Hadoop是 apache 的開源 項目，開發的主要目的是為了構建可靠，可拓展 scalable ，分布式的系 統， hadoop 是一系列的子工程的 總和