今天簡單介紹一下Pyleus設置worker數量，同時介紹設置之后worker與實際編程spout、bolt的關系。

Apache 基金會下的 Spark 再次引爆了大數據的話題。帶著比 Hadoop MapReduce 速度要快 100 倍的承諾以及更加靈活方便的 API，一些人認為這或許預示著 Hadoop...

今天在啟動docker容器的時候發現一段時間后宿主機上所有的容器的根目錄全部變成了只讀，并且宿主機message日志報磁盤相關的錯

本篇主要介紹Apache Ignite的核心功能特性，有價值的功能點非常多，所以每個點寫的并不詳細，這篇文章主要目的還是方便更多的人更全面的了解它，后續的話，可能會針對某個功能點做詳細的說明。

Apache Ignite(一)：簡介以及和Coherence、Gemfire、Redis等的比較：一、Ignite簡介 Apache Ignite 內存數組組織框架是一個高性能、集成和分布式的...

HDFS全稱是Hadoop Distribute File System,是一個能運行在普通商用硬件上的分布式文件系統。與其他分布式文件系統顯著不同的特點是：

正如你所知，spark實現了多種shuffle方法，通過 spark.shuffle.manager來確定。暫時總共有三種：hash shuffle、sort shuffle和tungsten-...

tns為thrift rpc分布式組件，實現rpc的高可靠、負載均衡、水平動態可擴展等，工具提供完整的命令行管理方式。

上一章講，虛擬化能夠充分的利用資源，帶來各種各樣的好處。 當一個網站不大，只需要四五臺機器就可以支撐的時候，可以采用手工的方式虛擬機，但是當網站流量很高，需要成千上萬臺機器的時候，那就非常不方便...

正如你所知，spark實現了多種shuffle方法，通過 spark.shuffle.manager來確定。暫時總共有三種：hash shuffle、sort shuffle和tungsten-...

hadoop的運行原理：hadoop主要由三方面組成: 1、HDFS 2、MapReduce 3、Hbase Hadoop框架中最核心的設計就是：MapReduce和H...

Spark中最核心的概念為 RDD（Resilient Distributed DataSets） 中文為： 彈性分布式數據集 ，RDD為對分布式內存對象的 抽象它表示一個 被分區不可變 且能 ...

πfs 是一個數據庫無關的文件系統。πfs 絕對是個創新性文件系統，不會花費硬盤空間來存儲你的數據，而是把數據存儲到 π 里面。你將不會再把硬盤空間耗盡 —— π 存儲的每個文件都在，因為?π ...

在Spark0.6.0 版本開始支持 YARN 模式，隨后的版本在逐漸地完善。

FastDFS 分布式的文件存儲環境搭建

在Ubuntu環境部署Apache Spark集群

使用Spark DataFrame進行大數據處理：簡介 DataFrame讓Spark具備了處理大規模結構化數據的能力，在比原有的RDD轉化方式易用的前提下，...

Apache Spark的高性能一定程度上取決于它采用的異步并發模型（這里指server/driver端采用的模型），這與Hadoop 2.0（包括YARN和MapReduce）是一致的。Had...

Spark是一個當下很火的集群計算平臺，來自于加州大學伯克利分校的AMPLab，目前從Apache孵化器畢業，成為了Apache基金會下的頂級項目。現在的spark類似于hadoop，逐漸成長為...

Dpark/Spark中最重要的核心就是RDD（彈性分布式數據集，Resilient Distributed Datasets），為了給今后的分析打下基礎，這篇文章首先會解釋RDD相關的重要概念...