本地模式 -pig在本地模式下運行，您需要訪問一臺機器，使用本地主機和文件系統的所有文件都安裝并運行。指定使用-x標志（pig-X本地）的本地模式。需要注意的是本地模式下不支持并行映射執行與Ha...

hadoop2.x 完全分布式詳細集群搭建(圖文：4臺機器)

Elastisys 云平臺誕生于 瑞典默奧大學 的 分布式系統研究小組 。它由一組以預測性擴展引擎為中心的工具組成，可以自動擴展云部署。近日，其官方網站發表了一篇 文章 ，介紹他們在高可擴展分布...

Apache MADlib 是為數據科學提供的 SQL 大數據機器學習工具。Apache MADlib 擁有強大的大數據分析能力。Apache MADlib 支持 Postgres, Pivot...

任何完整的大數據平臺，一般包括以下的幾個過程： 數據采集 數據存儲 數據處理 數據展現（可視化，報表和監控）

在分布式系統中，負載均衡是非常重要的環節，通過負載均衡將請求派發到網絡中的一個或多個節點上進行處理。通常來說，負載均衡分為硬件負載均衡及軟件負載均衡。硬件負載均衡，顧名思義，在服務器節點之間安裝...

Glow 是使用 Go 編寫的易用分布式計算系統，是 Hadoop Map Reduce，Spark，Flint，Samza 等等的替代品。 Glow 的目標是提供一個庫，可以在并行線程...

SeaweedFS 是簡單，高伸縮性的分布式文件系統，包含兩部分：存儲數十億的文件；快速為文件服務。SeaweedFS 作為支持全 POSIX 文件系統語義替代，Seaweed-FS 選擇僅實現...

Apache AsterixDB 是開源的大數據管理系統 (BDMS)，可以在一個集群中大規模存儲，索引，管理和查詢語義結構的數據。Hyracks 是 AsterixDB 的底層數據流運行平臺。...

摘要：友盟大數據平臺的架構借鑒了Lambda架構思想， 數據接入層讓Kafka集群承擔，后面由Storm消費，存儲在MongoDB里面，通過Kafka自帶的Mirror功能同步，兩個Kafka集...

Tez 是 Apache 最新的支持 DAG 作業的開源計算框架，它可以將多個有依賴的作業轉換為一個作業從而大幅提升DAG作業的性能。Tez并不直接面向最終用戶——事實上它允許開發者為最終用 戶...

本篇博客簡述 Spark 集群相關的概念。 Spark 的＂集群＂不是提供運算服務的，而是一種資源分配的調度器。 執行任務的 Spark 進程作為客戶端向＂集群＂申請資源(運算節...

Akka 和 Storm 都是實現低延時, 高吞吐量計算的重要工具. 不過它們并非完全的競品, 如果說 Akka 是 linux 內核的話, storm 更像是類似 Ubuntu 的發行...

目前的應用系統，不管是企業級應用還是互聯網應用，最終數據的一致性是每個應用系統都要面臨的問題，隨著分布式的逐漸普及，數據一致性更加艱難，但 是也很難有銀彈的解決方案，也并不是引入特定的中間件或者...

zkdash是一個 zookeeper 的管理界面，也可以作為任何基于 zookeeper 的配置管理項目比如：Qconf。

量化派是一家金融大數據公司，為金融機構提供數據服務和技術支持，也通過旗下產品“信用錢包”幫助個人用戶展示經濟財務等狀況，撮合金融機構為用 戶提供最優質的貸款服務。金融的本質是風險和流動性，但是目...

如今，大數據日益成為研究行業的重要研究目標。面對其高數據量、多維度與異構化的特點，以及分析方法思路的擴展，傳統統計工具已經難以應對。

在大部分中心化存儲系統中（如GFS）中，通常有一個中心節點管理整個系統元數據的更新、協調節點之間的數據復制，檢測并處理節點故障以及后續的數據遷移工作。Ceph認為將所有的管理工作全部交一個節點不...

Nomad 是一個分布式，高可用性，數據中心感知調度器，專為微服務和批量處理工作流設計。Nomad 是分布式，高可用，可擴展到跨數據中心和區域的數千個節點。

logstash+es+kibana+redis搭建