hadoop2.7完全分布式安裝

Spark是一個基于內存計算的開源集群計算系統，目的是讓數據分析更加快速。 Spark非常小巧玲瓏，由加州伯克利大學AMP實驗室的小團隊開發。使用的語言 是Scala，項目...

Spark基于這樣的理念，當數據龐大時，把計算過程傳遞給數據要比把數據傳遞給計算過程要更富效率。每個節點存儲（或緩存）它的數據集，然后任務被提交給節點。

當前大一點的公司都采用了共享Hadoop集群的模式，這種模式可以減小維護成本，且避免數據過度冗余，增加硬件成本。共享集群類似于云計算或者云存儲，面臨的一個最大問題是安全。本文就對Hadoop 的...

數據科學家們早已熟悉的R和Pandas等傳統數據分析框架 雖然提供了直觀易用的API，卻局限于單機，無法覆蓋分布式大數據場景。在Spark 1.3.0以Spark SQL原有的SchemaRDD...

Spark SQL性能優化

Curator是Netflix公司開源的一個Zookeeper客戶端，與Zookeeper提供的原生客戶端相比，Curator的抽象層次更高，簡化了Zookeeper客戶端的開發量。

在Apache Spark文章系列的前一篇文章中，我們學習了什么是Apache Spark框架，以及如何用該框架幫助組織處理大數據處理分析的需求。

Kubernetes可用來管理Linux容器集群，加速開發和簡化運維（即DevOps）。但目前網絡上關于Kubernetes的文章介紹性遠多于實 際使用。本系列文章著眼于實際部署，帶您快速掌握...

由于Spark的運行環境的多樣性，如可以運行在hadoop的yarn上，這樣就必須要對Spark的源碼進行編譯。

Microservices infrastructure 是一個為快速部署全球分布式服務的現代平臺。

zookeeper集群安裝與配置

針對“互聯網+”時代的業務增長、變化速度及大規模計算的需求，廉價的、高可擴展的分布式x86集群已成為標準解決方案，如Google已經在幾 千萬臺服務器上部署分布式系統。Docker及其相關技...

Hadoop集群中有三種作業調度算法，分別為FIFO，公平調度算法和計算能力調度算法

當下，Spark已經在國內得到了廣泛的認可和支持：2014年，Spark Summit China在北京召開，場面火爆；同年，Spark Meetup在北京、上海、深圳和杭州四個城市舉辦，其...

1、集群啟動的時候，從節點的datanode沒有啟動 問題原因：從節點的tmp/data下的配置文件中的clusterID與主節點的tmp/data下的配置文件中的clusterID不一...

2015年6月1號， Twitter 對外宣講了他們的Heron系統， 從ppt和論文中，看起來完爆storm。昨天，抽空把論文，仔細讀了一遍， 把個人筆記和心得分享一下：

備忘，HWI安裝過程，整理以前的記錄，今又想起來重裝一次，居然又遇到新的問題，由于是筆記，有點雜亂。 Hive Web Interface（HWI）簡介：Hive自帶了一個Web-GUI，功...

Twitter發布了新開發的數據實時分析平臺Heron，以下為官方文檔摘譯： 我們每天在Twitter上處理著數十億的事件。正如你猜測的那樣，實時分析這些事件是一個巨大的挑戰。目前，我們主要...

Robust Distributed System Nucleus (rDSN) 是用于快速構建的，管理高性能，健壯的分布式系統。