storm集群搭建：集群環境:每臺機器的操作系統，配置都要一樣的，避免一些不必要的麻煩， 所需工具軟件：python,zookeepe...

Spark 常見問題小結：Spark is an excellent tool to use with Apache Cassandra and thanks to the DataStax O...

在對數據進行小計或合計運算時，rollup和cube一樣，算是常用的操作了。Spark的DataFrame提供了rollup函數支持此功能。

去年十月份，在阿姆斯特丹 速度會議 上，來自 Fugue的首席安全工程師 Alex Schoof 解釋 了如何在一個分布式、可伸縮的環境中管理秘密，比如云平臺。Schoof提議將秘密管理系統分解...

這是一個使用Docker將Node.JS或Java等Web應用實現 分布式 部署的文章，關鍵是解決應用服務的自動發現。

ceph集群配置注意事項：ceph部署環境： 硬件環境。4臺4U的服務器，服務器配置信息如下：

hadoop2.7.1環境搭建：在老板的支持下，陸續劃拉到了10幾臺機器，綁定了固定IP，工作之余開始了Hadoop之旅。將要點記錄下來，以...

編者按：《通過demo學習OpenStack開發》專欄是劉陳泓的系列文章，專欄通過開發一個demo的形式來介紹一些參與OpenStack項目開發的必要的基礎知識，希望幫助大家入門企業級Pytho...

Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3)：1. 新建表 1) 新建表結構 create table user_table( ??? id???????? ...

這幾年大數據的飛速發展，出現了很多熱門的開源社區，其中著名的有 Hadoop、Storm，以及后來的 Spark，他們都有著各自專注的應用場景。Spark 掀開了內存計算的先河，也以內存為賭注，...

這是一篇來自AWS企業解決方案架構師David Shurtliff和CloudEndure VP商務開發的Gonen Stein合作的一篇客座文章.

編者按：《通過demo學習OpenStack開發》專欄是劉陳泓的系列文章，專欄通過開發一個demo的形式來介紹一些參與OpenStack項目開發的必要的基礎知識，希望幫助大家入門企業級Pytho...

最近這段時間在設計和實現日志系統，在整個日志系統系統中Zookeeper的作用非常重要——它用于協調各個分布式組件并提供必要的配置信息和元 數據。這篇文章主要分享一下Zookeeper的使用場景...

在開發的過程中有的時候我們只需要存儲一些臨時的變量，我們并不想使用collection來存儲，這個時候我們可以使用Session來存儲，Session可以方便的存儲一些狀態，也可以在helper...

Ambari是Apache推出的一個集中管理Hadoop的集群的一個平臺，可以快速幫助搭建Hadoop及相關以來組件的平臺，管理集群方便。這篇博客記錄Ambari的相關問題和注意事項。方便為初學...

ZOOKEEPER基礎

下面這些關于Spark的性能調優項，有的是來自官方的，有的是來自別的的工程師，有的則是我自己總結的。

在分布式系統存在多個 Shard 的場景中, 同時在各個 Shard 插入數據時, 怎么給這些數據生成全局的 unique ID? 在單機系統中 (例如一個 MySQL 實例), uni...

所謂的經典版本的MapReduce框架，也是Hadoop第一版成熟的商用框架，簡單易用是它的特點

這篇內容基于我去年的一些感悟寫的，但是今年才在Stuq 的微信群做的分享。從技術角度而言，對Spark的掌握和使用還是顯得很手生的。但是今天一位做數據分析相關的朋友說，受這篇內容影響，他接受了 ...