本文主要討論 Apache Spark 的設計與實現，重點關注其設計思想、運行原理、實現架構及性能調優，附帶討論與 Hadoop MapReduce 在設計與實現上的區別。不喜歡將該文檔稱之為“...

最近在負責公司內部私有云的建設，一直在思考怎么搞云計算，怎么才能夠把云架構設計得好一些。本文盡量全面的列出了云架構建設和選型的考量因素。

Rhino項目是由Cloudera、Intel和Hadoop社區合力打造的一個項目。這個項目旨在為數據保護提供一個全面的安全框架。

Apache Sentry 是一個高度模塊化的系統。它為存儲在Apache Hadoop集群中的數據和元數據提供了細粒度的、基于角色的認證功能。

總的來說，每一個Spark應用程序，都是由一個驅動程序組成，它運行用戶的main函數，并且在一個集群上執行各種各樣的并行操作。Spark提供的主要的抽象（概念）是一個彈性分布式數據集，它是一個元...

Cloudbreak 是首個基于hadoop的docker service API。Cloudbreak 建立于Apache Ambari, Docker containers, Serf 和 ...

OpenStack All in One

Sentry 是Cloudera 公司發布的一個Hadoop開源組件，它提供細粒度基于角色的安全控制

Spark是一個基于內存計算的開源的集群計算系統，目的是讓數據分析更加快速。Spark非常小巧玲瓏，由加州伯克利大學AMP實驗室的Matei為主的小團隊所開發。使用的語言是Scala，項目的co...

hadoop-2.2.0+spark1.1.0安裝過程

最近在網上又看到有關于Hadoop適用性的討論[1]。想想今年大數據技術開始由互聯網巨頭走向中小互聯網和傳統行業，估計不少人都在考慮各種“紛繁復雜”的大數據技術的適用性的問題。這兒我就結合我這幾...

Hadoop技術已經無處不在。不管是好是壞，Hadoop已經成為大數據的代名詞。短短幾年間，Hadoop從一種邊緣技術成為事實上的標準。看來，不僅現在Hadoop是企業大數據的標準，而且在未來，...

Openstack 從 Folsom 開始使用 Cinder 替換原來的Nova-Volume服務，為 Openstack 云平臺提供塊存儲服務。

phdfs是一個采用C語言的實現的PHP擴展，能夠使用PHP來操作Hadoop HDFS文件系統。

Hadoop 迭代式計算框架 Guagua 是 PayPal 的一個開源機器學習框架 Shifu 的子項目。Guagua 主要解決了模型訓練的分布式問題。同時 Guagua 并沒有將自己局限在分...

1. 云計算的挑戰與需求 2. ECS的分布式存儲設計 3. SLB、RDS與OCS的設計 4. 全鏈路監控與分析系統 5. 未來工作展望 云計算的挑戰與需求

Storm里面引入DRPC主要是利用storm的實時計算能力來并行化CPU intensive的計算。DRPC的storm topology以函數的參數流作為輸入，而把這些函數調用的返回值作為t...

hadoop分布式部署

Watchy 是一個分布式的系統，用于監控應用程序和服務器。該系統非常簡單和易于管理。Watchy 提供一個分布式的架構和每個服務器之間守護進程的通訊，通過 UDP 獲取不懂服務器上的數據并在同...

對于hadoop HDFS 中的所有命令進行解析