2013年年底，我第一次接觸到Spark，當時我對Spark所使用的Scala語言產生了較大的興趣。一段時間后，我做了一個預測泰坦尼克號船上人員生存概率的數據科學項目。事實證明這是一個更深入了解...

轉眼間已經接觸了hadoop兩周了，從之前的極力排斥到如今的有點喜歡,剛開始被搭建hadoop開發環境搞得幾乎要放棄，如今學會了編寫小程序,每天都在成長一點挺好的，好好努力,為自己的裝備庫再填一...

spark streaming從1.2開始提供了數據的零丟失，想享受這個特性，需要滿足如下條件：

(名詞約束: 頂點Vertex-圖中頂點;節點Process-計算單元節點),目錄說明:

我們知道有eclipse的Hadoop插件，能夠在eclipse上操作hdfs上的文件和新建mapreduce程序，以及以Run On Hadoop方式運行程序。那么我們可不可以直接在eclip...

如何使用Spark大規模并行構建索引：使用Spark構建索引非常簡單，因為spark提供了更高級的抽象rdd分布式彈性數據集，相比以前的使用Hadoop的...

Akka由Scala語言編寫的分布式應用框架，用于簡化編寫容錯的、高可伸縮性的Java和Scala的Actor模型應用。它已經成功運用在電信行業。系統幾乎不會宕機（高可用性 99.9999999...

Big Data非常復雜，涉及到的技術繁多。我們常“耳聞”的技術，如果MapReduce, Hadoop等處于哪一層次，下圖會給你一個整體印象。

dispatch_async和dispatch_sync方法需要傳2個參數，第一個參數是隊列類型，第二個參數是block塊。dispatch_sync:同步當前調用此gcd的線程，會阻塞當前調用...

Tungsten-sort 算不得一個全新的shuffle 方案，它在特定場景下基于類似現有的Sort Based Shuffle處理流程，對內存/CPU/Cache使用做了非常大的優化。帶來高...

雅虎Storm團隊排名不分先后 ） Sanket Chintapalli , Derek Dagit , Bobby Evans , Reza Farivar , Tom Grave...

摘要：成為數據極客，建立自己的數據場需要哪些技能呢？遇到普通的數據，通過SQL做分析。如果數據量比較大，可以使用Hadoop等大數據框架處理。在深入挖掘上，可用Python或者R語言進行編程。0...

摘要：除了報表統計外，還需要對數據的有很強的解讀能力。電商中的個性推薦技術，商業與銀行中的欺騙檢測，智能手機中語音識別等等技術，讓我們渾身便散發出大數據與機器學習的各種場信息，給人以滿滿的正能量...

EasyNAS是一個適用于家庭及小型辦公環境的存儲管理系統。 它使用Opensuse的文件系統BTRFS： 具有穩定，高性能，高可用和其他你不常見的特性。 EasyNAS的先進特性包括：支持壓縮...

【hadoop 2.7.1 】動態添加節點、刪除節點：hftest0001 hftest0002 hftest0003 一、動態添加節點 hftest0001 (master node ) [h...

nono-task-dispatcher - 基于zookeeper的分布式定時任務調度系統

Hadoop2.6.0上的spark1.5.2集群搭建：一、Spark安裝前提 安裝Spark之前需要先安裝Hadoop集群，因為之前已經安裝了hadoop，所以我直接在之前的...

【Spark 1.5.1】 安裝：一、Hadoop 2.x 安裝 Hadoop 2.x安裝?http://my.oschina.net/u/204498/blog/519789 二、Spark1...

在給大家介紹ZooKeeper之前先來給大家介紹一種技術——分布式協調技術。那么什么是分布式協調技術？那么我來告訴大家，其實分布式協調技術主要用來解決分布式環境當中多個進程之間的同步控制，讓他們...

hadoop2.6.3 集群部署