LeoFS是一個高可靠性，最終一致性的分布式對象存儲系統

相信很多公司和樂視一樣，本就不充足的研發隊伍，由于種種歷史和政治原因，在同一個領域里充斥了大量類似的開源項目，在我們的分布式存儲系統里，目前就采用了HDFS，Gluster，Swift和Ceph...

Hadoop yarn完全分布式安裝筆記

Mesa是Google用于廣告的數據倉庫系統， 擁有準實時的數據更新能力， 和低延遲的數據查詢性能。 系統高可用性、可靠性、擴展性都非常優秀， 數據規模可達PB級別， 支持每秒數百萬行寫入。 每...

由Facebook開源，最初用于解決海量結構化的日志數據統計問題：ETL工具； 構建于Hadoop的HDFS和MapReduce智商，用于管理和查詢結構化/非結構化數據的數據倉庫；

HDFS（Hadoop Distributed File System ）Hadoop分布式文件系統。是根據google發表的論文翻版的。論文為GFS（Google File System）Go...

Barbican 是為安全儲存、配置和隱私管理而設計的REST API，它主要目的是使用于所有環境，包括大規模臨時云。

MapReduce簡單使用

配置Ubuntu下使用Python開發Spark應用

開源大數據利器匯總

Exhibitor 是 ZooKeeper 實例監控，備份，恢復，清理和可視化工具， 是 ZooKeeper 的監控管理系統。

Storm是一個實時的可靠地分布式流計算框架。 具體就不多說了，舉個例子，它的一個典型的大數據實時計算應用場景：從Kafka消息隊列讀取消息（可以是logs,clicks...

接下來有可能會用到Hadoop相關的知識, 所以這幾天就在Vmware里面嘗試著搭建了一下. 感覺還行. 所以趁著還記得, 就寫下這篇博客, 幫助自己以后回顧, 也幫助那些準備接觸Hadoop的...

IT界在過去幾年中出現了一個有趣的現象。很多新的技術出現并立即擁抱了“大數據”。稍微老一點的技術也會將大數據添進自己的特性，避免落大部隊太 遠，我們看到了不同技術之間的邊際的模糊化。假如你有諸如...

Glance項目提供了服務讓用戶可以上傳和發現用于其他服務的數據資源。這目前包括鏡像和元數據定義（Metadata Definition）。 Glance鏡像服務包括了發現、注冊和獲得虛...

ZooKeeper是一個分布式的，開放源碼的分布式應用程序協調服務，它包含一個簡單的原語集，分布式應用程序可 以基于它實現同步服務，配置維護和命名服務等。Zookeeper是hadoop的一個子...

基本hadoop文件操作

我們主要來學習MapTask的內部實現。

ubuntu14.04 安裝hadoop

本文中，我們將首先討論如何在本地機器上利用Spark進行簡單分析。然后，將在入門級水平探索Spark，了解Spark是什么以及它如何工作（希望可以激發更多探索）。最后兩節將開始通過命令行與Spa...