通過對Hadoop分布式計算平臺最核心的分布式文件系統HDFS、MapReduce處理過程，以及數據倉庫工具Hive和分布式數據庫Hbase的介紹，基本涵蓋了Hadoop分布式平臺的所有技術核心。

在網絡流量的分析中，基于流的分析被大多數ISP所采用，分析系統一般部 署在一臺高配置的服務器中。如由CERT網絡勢態感知團隊(CERT-NetSA)開發的用于大規模網絡安全分析的網絡交互分析工具...

TDW（Tencent distributed Data Warehouse，騰訊分布式數據倉庫）基于開源軟件Hadoop和Hive進行構建，打破了傳統數據倉庫不能線性擴展、可控性差的局限，并且...

Listener線程，當Server處于運行狀態時，其負責監聽來自客戶端的連接，并使用Select模式處理Accept事件。 同時，它開啟了一個空閑連接（Idle Connection）...

Hadoop中的NameNode好比是人的心臟，非常重要，絕對不可以停止工作。在hadoop1時代，只有一個NameNode。如果該NameNode數據丟失或者不能工作，那么整個集群就不能恢復了...

MapReduce是一種分布式計算模型，由Google提出，主要用于搜索領域，解決海量數據的計算問題。 MR由兩個階段組成：Map和Reduce，用戶只需要實現map()和reduce(...

這個 Spark Streaming 樣例是一個可持久化到Hadoop近實時會話的很好的例子。 Spark Streaming 是Apache Spark 中最有趣的組件之一。你用Spa...

當前大一點的公司都采用了共享Hadoop集群的模式，這種模式可以減小維護成本，且避免數據過度冗余，增加硬件成本。共享集群類似于云計算或者云存儲，面臨的一個最大問題是安全。本文就對Hadoop 的...

Hadoop集群中有三種作業調度算法，分別為FIFO，公平調度算法和計算能力調度算法

當下，Spark已經在國內得到了廣泛的認可和支持：2014年，Spark Summit China在北京召開，場面火爆；同年，Spark Meetup在北京、上海、深圳和杭州四個城市舉辦，其...

1、集群啟動的時候，從節點的datanode沒有啟動 問題原因：從節點的tmp/data下的配置文件中的clusterID與主節點的tmp/data下的配置文件中的clusterID不一...

Hadoop yarn完全分布式安裝筆記

接下來有可能會用到Hadoop相關的知識, 所以這幾天就在Vmware里面嘗試著搭建了一下. 感覺還行. 所以趁著還記得, 就寫下這篇博客, 幫助自己以后回顧, 也幫助那些準備接觸Hadoop的...

基本hadoop文件操作

我們主要來學習MapTask的內部實現。

ubuntu14.04 安裝hadoop

微博，一個DAU上億、每日發博量幾千萬的社交性產品，擁有龐大的數據集。如何高效得從如此規模的數據集中挖掘出有價值的信息，以增強用戶粘性，提 高信息傳播速度，就成了重中之重。因此，我們引入了had...

個人談談閱讀hadoop源代碼的經驗。 首先，不得不說，hadoop發展到現在這個階段，代碼已經變得非常龐大臃腫，如果你直接閱讀最新版本的源代碼，難度比較大，需要足夠的耐心和時間，所以，如果你...

提 到大數據分析平臺，不得不說Hadoop系統，Hadoop到現在也超過10年的歷史了，很多東西發生了變化，版本也從0.x進化到目前的2.6版本。我 把2012年后定義成后Hadoop平臺時代，...

0.上傳日志文件到linux中，通過flume將文件收集到hdfs中。