同時支持內存和CPU兩種資源的調度（默認只支持內存，如果想進一步調度CPU，需要自己進行一些配置），本文將介紹Hadoop YARN是如何對這些資源進行調度和隔離的。

Dryad的論文是微軟早在2007年就發布的，Tez的核心思想來源于Dryad，差不多可以算是Dryad的開源實現吧。最近正好看到幾個有趣的項目是基于Tez實現的，于是順便追本溯源，學習了一下D...

任何計算機系統,無論是集中式或分布式,需要某種形式的治理,即。監控和管理系統的行為。等治理可能簡單,確保只有授權用戶可以訪問的功能(如服務),或保證一樣復雜系統及其組件保持可用性或可靠性水平的存...

swall是一個基于zookeeper實現的分布式基礎信息管理系統（Infrastructure Management）可以用于管理特別是架構比較靈活的服務，比如游戲。用swall，你不用登陸到...

本篇為大家分享一下關于MooseFS的相關知識，以及簡單的安裝配置介紹。MooseFS是一種分布式文件系統，它通過四個節點服務器來進行整個分布式文件系統的正常運作，包括管理服務器，元數據日志服務...

Mongodb GridFS圖片文件存儲解決方案 之前解決方案是接收圖片數據后，將圖片直接存儲到盤陣，然后通過Apache做服務器，將圖片信息存儲到數據庫，并且存儲一個Apach...

ManageIQ的產品與紅帽的開放式混合云戰略相一致，可以為紅帽帶來涵蓋不同提供商技術的運營管理能力，比如來自紅帽，VMware，微軟，亞馬遜以及其它廠商的技術。

一個帶配置的服務程序，部署在若干臺機器上，如果配置發生了變化，接下去要進行的操作是停止所有機器上的該程序，修改每一臺機器上該程序對應的配置文件。 這個情景會有兩個問題：第一，機器多了，逐個修改配...

Hadoop 作為MR 的開源實現，一直以動態運行解析文件格式并獲得比MPP數據庫快上幾倍的裝載速度為優勢。不過，MPP數據庫社區也一直批評Hadoop由于文件格式并非為特定目的而建，因此序列化...

cAdvisor 是谷歌公司用來分析運行中的 Docker 容器的資源占用以及性能特性的工具。

ADFS(Ali Distributed File System)是基于hadoop開源分布式系統HDFS的一種優化 實現，能夠將HDFS中單點master namenode節點中的內存數據結構...

Tornado 非阻塞的 MongoDB GridFS 開發庫

56vfs是56網的視頻文件系統，包括以下三個不部分： 1，文件分發系統（主要） 2，文件分發信息管理系統 3，文件分發信息查詢系統

Spark生態圈，也就是BDAS（伯克利數據分析棧），是伯克利APMLab實驗室精心打造的，力圖在算法（Algorithms）、機器 （Machines）、人（People）之間通過大規模集成，...

Cockroach 是一個可伸縮的、支持地理位置處理、支持事務處理的數據存儲系統

Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的并行計算框架，Spark基于map reduce算法實現的分布式計算，擁有Hadoop Map...

Apache Tez是基于Hadoop Yarn之上的DAG（有向無環圖，Directed Acyclic Graph）計算框架。它把Map/Reduce過程拆分成若干個子過程

Apache Hama是一個建立在Hadoop上基于BSP（Bulk Synchronous Parallel）的計算框架，模仿了Google的Pregel。

使用Hadoop已經有一段時間了，從開始的迷茫，到各種的嘗試，到現在組合應用….慢慢地涉及到數據處理的事情，已經離不開hadoop了。Hadoop在大數據領域的成功，更引發了它本身的加速發展。現...

Katta是一個可擴展的、故障容錯的、分布式實施訪問的數據存儲。 Katta可用于大量、重復、索引的碎片，以滿足高負荷和巨大的數據集。這些索引可以是不同的類型。當前該實現在Lucene和H...