BeeGFS (前身是 FhGFS) 是一個高性能的并行文件系統，其分布式元數據架構的設計是為了提供運行當今最苛刻的高性能計算應用所需的可擴展性和靈活性。

Hadoop MapReduceV2(Yarn) 框架簡介 原 Hadoop MapReduce 框架的問題 對于業界的大數據存儲及分布式處理系統來說，Hadoop 是耳熟能詳的卓越開源分布...

Hadoop2.2.0分布式安裝

zimg是一個具有圖片處理功能的圖片存儲服務，你可以上傳圖片到zimg服務器，然后通過帶有參數的URL來獲取被處理過的圖片

這是一個基于Web的SSH控制臺，適用于在一個OpenShift domain中的應用。

HekaFS 是一個分布式文件系統，專門為云服務提供者解決存儲問題，提供文件系統級別的訪問。

Tachyon是一個分布式內存文件系統，可以在集群里以訪問內存的速度來訪問存在tachyon里的文件。把Tachyon是架構在最底層的分布式文件存儲和上層的各種計算框架之間的一種中間件。主要職責...

Hadoop偽分布配置與基于Eclipse開發環境搭建

CentOS是一個基于Red Hat 企業級 Linux 提供的可自由使用的源代碼企業級的 Linux 發行版本。每個版本的 CentOS 都會獲得七年的支持（通過安全更新方式）。新版本的 Ce...

Spark SQL支持在Spark中執行SQL，或者HiveQL的關系查詢表達式。它的核心組件是一個新增的RDD類型JavaSchemaRDD。JavaSchemaRDD由Row對象和表述這個行...

由于storm的內核是clojure編寫的，目前阿里巴巴公司已經有開源的Copy版本Jstorn，以下本ID為你帶來其中相關區別。 關于流處理框架，在先前的文章匯總已經介紹過Strom， ...

摘要：分布式系統需要在數據完整、一致性和性能間做平衡。本文系統介紹了處理分布式數據一致性的技術模型，如：Master-Slave，Master-Master，2PC/3PC，經典的將軍問題，Pa...

Hadoop讓大數據分析走向了大眾化，然而它的部署仍需耗費大量的人力和物力。在直奔Hadoop之前，是否已經將現有技術推向極限？這里總結了對Hadoop投資前可以嘗試的10個替代...

有人問我，“你在大數據和Hadoop方面有多少經驗？”我告訴他們，我一直在使用Hadoop，但是很少處理幾TB以上數據的任務 。我基本上只是一個大數據新手——知道概念，寫過代碼，但是沒有...

最近在負責公司內部私有云的建設，一直在思考怎么搞云計算，怎么才能夠把云架構設計得好一些。 本文章主要內容： 1. 行業生態 2. 從需求角度看云 3. 云計算概述 ...

Mapreduce是一個計算框架，既然是做計算的框架，那么表現形式就是有個輸入（input），mapreduce操作這個輸入（input），通過本身定義好的計算模型，得到一個輸出（output）...

當map task開始運算，并產生中間數據時，其產生的中間結果并非直接就簡單的寫入磁盤。這中間的過程比較復雜，并且利用到了內存buffer來進行已經產生的 部分結果的緩存，并在內存buffer中...

hadoop2.2.0安裝筆記

Clocker，一個開源項目，它使用戶能夠以云無關的方式啟動Docker容器，而不必生成額外的容器。該項目是建立在Apache Brooklyn（一款多重云應用）管理軟件之上的。

本文為您介紹了網易公司基于 OpenStack 開發的一套云計算管理平臺，以及在開發、運營、維護過程中遇到的問題和經驗分享。網易作為大型互聯網公司，IT 基礎架構需要支撐包括生產、開發、測試、管...