storm java 編程思路：總體思路 storm編程和hadoop的mapreduce的編程很類似，hadoop的mapreduce需要自己實現map函數，reduce函...

《深入理解Spark：核心思想與源碼分析》一書第一章的內容請看鏈接《第1章 環境準備》

使用Kubernetes和Docker進行簡單的leader選舉 - 【編者的話】Kubernetes簡化了運行在集群中的服務部署和運維管理，然而，它也簡化了這些管理工作的部署。本篇文章將會展示...

HDFS存儲規范,主要介紹存儲規劃和HDFS目錄規劃...

本文使用Scala2.10.6，sbt。請自行提前裝好。

少量數據的實時處理可以使用JMS（Java Messaging Service）這類技術，但是數據量很大時便會出現性能瓶頸。而且這些方案不適合橫向擴展。

duang~好久沒有更新博客啦，原因很簡單，實習啦～好吧，我過來這邊上班表示覺得自己簡直弱爆了。第一周，配置環境；第二周，將數據可視化，包括學習了excel2013的一些高大上的技能，例如數據透...

所謂實時流計算就是近幾年由于數據得到廣泛應用之后，數據持久性建模不滿足現狀下，急需數據流的瞬時建模或者計算處理。這種實時計算的應用的實例有金融服務、網絡監控、電信數據管理、Web應用、生產制造、...

Accumulo入門手冊：1。介紹 Apache Accumulo的是一個高度可擴展的結構化存儲，基于谷歌的BigTable。Accumulo是用Java編寫的...

然而直接把原始未加工的日志交給elasticsearch沒有什么意義。

ELK系統收到推送過來的日志后，首先由logstash解析日志中的字段，分解成一個一個的關鍵字。elasticsearch將關鍵字與日志信息關聯起來，以一種特定的格式化方式存儲數據到硬盤。kib...

?前面幾篇博客大致講解了一下有關zookeeper的概念知識，下面結合前面的幾篇博客來講解一下zookeeper的使用場景。

Oozie4.2.0配置安裝實戰

在上一篇博客中我們提到過，OpenStack每個項目內部的服務進程之間是通過消息總線來通訊的，而在各個項目之間則是通過RESTful API來進行通訊的，在這一篇博客中，我們就來詳細的討論一下O...

Hadoop 作為一個較通用的海量數據處理平臺，每次運算都會需要處理大量數據，我們會在 Hadoop 系統中對數據進行壓縮處理來優化磁盤使用率，提高數據在磁盤和網絡中的傳輸速度，從而提高系統處理...

hadoop作業調優參數整理及原理：問題導讀： 1.map會將已經產生的部分結果先寫入到該buffer中.buffer大小可以通過那個參數來設置？ 2.如何...

在編寫 Flink，Spark，Hive 等相關作業時，要是能快速的將我們所編寫的作業能可視化在我們面前，是件讓人興奮的時，如果能帶上趨勢功能就更好了。今天，給大家介紹這么一款工具。它就能滿足上...

容器與OpenStack是云中的兩個熱門技術，但是哪個容器有編排工具能與開源云平臺一起工作？

Storm集成Redis：一、Storm集成redis前的準備 ????首先是需要安裝storm和redis環境，具體安裝方法可分別去http://st...

Spark 訪問 Hive 執行 SQL：最近在使用 Spark 結合 Hive ?來執行查詢操作。。跑了一個demo 出現如下錯誤： 01-20 14:49:41 [INFO] ...