在今天的文章中，我們將著重探討如何利用SMACK（即Spark、Mesos、Akka、Cassandra以及Kafka）堆棧構建可擴展數據處理平臺。雖然這套堆棧僅由數個簡單部分組成，但其能夠實現...

Spark 1.6發布后，官方聲稱流式狀態管理有10倍性能提升。這篇文章會詳細介紹Spark Streaming里新的流式狀態管理。

這篇文章的目的是幫助您開始使用 Apache Zeppelin Notebook，它可以滿足您用R做數據科學的需求。Zeppelin 是一個提供交互數據分析且基于Web的筆記本。方便你做出可數據...

最近在調整游戲的后臺架構，之前因為需要快速出產品，所以整個代碼都揉成一團，也基本沒有做任何分層處理。現在服務器端的開發也開始逐漸招進來，所以打算打算換一套統一的架構，以后做新游戲只要做其中的業務邏輯即可。

之前有說過要設計一個工作流調度器。開發一個完善的工作流調度器應該并不是一件簡單的事情。但是通過Spark Streaming(基于Transfomer架構的理念)，我們可能能簡化這些工作。我在這...

storm集群和單點安裝：Storm實時分析平臺的起源，Storm分布式集群實施 流式處理場景：算法交易 storm組件 1.nimbus集群中心，控...

Zookeeper配置項說明：Zookeeper常見基本配置項： tickTime:?CS通信心跳 initLimit:?LF初始通信時限 syncLimit:?LF同步通信...

Storm集群的搭建：在Ubuntu 14.04下搭建Storm集群環境 Step 1. 下載所需的軟件包： 1). JDK:?http://www.oracle.com/tec...

Rust IDE 構建使用 IntelliJ 平臺

Tair是一個高性能、分布式、可擴展、高可靠的NoSQL存儲系統。本文基于Tair v3.1.2.43版本，探究其mdb存儲引擎的實現。 Tair目前有mdb、ldb和rdb等存儲引擎。其中m...

所謂高可用性指的是系統如何保證比較高的服務可用率，在出現故障時如何應對，包括及時發現、故障轉移、盡快從故障中恢復等等。本文主要以點評的交易系統的演進為主來描述如何做到高可用，并結合了一些自己的經...

文章是哥(mephisto)寫的，SourceLink 上一篇，我們對hive的數據導出，以及集群Hive數據的遷移進行描述。了解到了基本的hive導出操作。這里，我們將對hive的CL...

插件下載后，放在eclipse安裝目錄下的plugins文件夾下，然后重啟eclipse，就會發現Project Explorer窗口里多出DFS Locations這一項，對應的是HDFS里存...

Paxos是一個基于消息傳遞的一致性算法，近幾年被廣泛應用于分布式計算中，Google的Chubby，Apache的Zookeeper都是基于它的理論來實現的，Paxos還被認為是到目前為止唯一...

To knowledge 是目標，手段還是 mining ，俗稱數據民工。每當大家講到大數據，都會不約而同的提到大數據幾個 V 的定義： Volume ， Variety ， Velocity ...

Apache Mesos?是一個分布式系統的管理軟件，對集群的資源進行分配和管理。

?在平常的高并發的程序中，為了保證數據的一致性，因此都會用到鎖，來對當前的線程進行鎖定。在單機操作中，很好做到，比如可以采用Synchronized、Lock或者其他的讀寫多來鎖定當前的線程。但...

組件分布在網絡計算機上 組件之間僅僅通過消息傳遞來通信并協調行動 分布式系統的意義： 升級單機處理能力的性價比 根據摩爾定律來說，如果把時間固定下來，所需要的處理器性能越高，付出的...

我們基于Hadoop 1.2.1源碼分析MapReduce V1的處理流程。

storm拓撲的并行度(parallelism)概念：1 storm并行的基本概念 一個運行中的拓撲是由什么構成的：工作進程（worker processes），執行器（execu...