Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺。以Hadoop分布式文件系統(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google
ZooKeeper是Hadoop的正式子項目,它是一個針對大型分布式系統的可靠協調系統,提供的功能包括:配置維護、名字服務、分布式同步、組服務等。ZooKeeper的目標就是封裝好復雜易出錯的關鍵服務
Hypertable是一個開源、高性能、可伸縮的數據庫,它采用與Google的Bigtable相似的模型。在過去數年中,Google為在 PC集群 上運行的可伸縮計算基礎設施設計建造了三個關鍵部分。
系統的可擴展性是推動NoSQL運動發展的的主要理由,包含了分布式系統協調,故障轉移,資源管理和許多其他特性。這么講使得NoSQL聽起來像是 一個大筐,什么都能塞進去。盡管NoSQL運動并沒有給分布式數據處理帶來根本性的技術變革,
開發框架,包括代碼生成和UML 導入/導出。基于組件的編程框架。該項目旨在支持各種目標框架。基于wxWidgets的GUI應用程序是主要的示例。還提供了快速數據庫GUI設計包含UML導入/導出(DB逆向工程)。
NSQ是一個大規模的實時分布式信息處理。設計工作在億級別的規模,每天能夠處理數十億的消息。 項目主頁: http://www.baiduhome.net/lib/view/home/1349858561338
概念發展。分布計算主要體現在客戶機/服務器模式和分布式數據庫體系結構兩個方面。 二、分布式數據庫系統概述 隨著傳統的數據庫技術日趨成熟、計算機網絡技術的飛速發展和應用范圍的擴大,以分布式為主要特征的數據庫系統的研究與開發受到人們的注意。分布
Hadoop的分布式架構改進與應用 Baofeng Zhang@zju 1.? 背景介紹 談到分布式系統,就不得不提到Google的三駕馬車:GFS [1] ,MapReduce [2]
Apache Samza 是一個分布式流處理框架。它使用 Apache Kafka 用于消息發送,采用 Apache Hadoop YARN 來提供容錯,處理器隔離,安全性和資源管理。專用于實時數據的
OpenAFS是一套開放源代碼的分布式文件系統,允許系統之間通過局域和廣域網來分享檔案和資源。 OpenAFS 是圍繞一組叫做 cell 的文件服務器組織的。每個服務器的標識通常是隱藏在文件系統中的。從
KFS,Kosmos File System分布式文件系統有著高性能,可用性和可靠性等特點。它的目的是用來作為后端的存儲基礎設施,密集型數據應用,如搜索引擎,數據挖掘,網格計算等。 功能和特點
分布式系統中經常需要協調多進程,多個jvm,或者多臺機器之間的同步問題,得益于zookeeper,實現了一個分布式的共享鎖,方便在多臺服務器之間競爭資源時,來協調各系統之間的協作和同步。 package
系統的可擴展性是推動NoSQL運動發展的的主要理由,包含了分布式系統協調,故障轉移,資源管理和許多其他特性。這么講使得NoSQL聽起來像是 一個大筐,什么都能塞進去。盡管NoSQL運動并沒有給分布式數據處理帶來根本性的技術變革,
Storm 平臺,目前已經歸于 Apache 基金會管轄。 Apache Storm 是一個免費開源的分布式實時計算系統。簡化了流數據的可靠處理,像 Hadoop 一樣實現實時批處理。Storm 很簡單,可用于任意編程語言。
eos (easy operation service)是公司內部開發的分布式服務調用框架,基于zookeeper,netty,hessian等成熟框架。在使用上與spring無縫結合,無任何學習成本
Orleans是一個提供構建分布式高伸縮性計算應用的簡單方法的框架,不需要學習和應用復雜并發或者其它伸縮模式。由微軟研究院建立并廣泛應用到微軟自己和其它廠商的云計算環境中。 項目主頁: http://www
許多人在日常工作中都會用到分布式系統,它的好處就是它所提供的穩定性,容錯性以及伸縮性使我們能更容易地構建出穩定,高效的應用。然而分布式系統的使用非常具有挑戰性,包括數據同步以及理解沖突的意義。 分布式系統中的數據
Pyleus 是一個來自 Yelp 的開源框架,使得 Yelp 的另外一個開源項目 mrjob 可以運行在 Apache Storm 框架上,就像 Hadoop 一樣。開發者可以使用純 Python 實現大數據的處理,并進行快速迭代。
LeoFS是一個高可靠性,最終一致性的分布式對象存儲系統,主要功能如下: 支持多種協議: S3 REST NFS 支持大對象和小對象 內置換存儲機制 多數據中心復制 自動運維支持
對于一個獨立應用來說,單機部署不需要考慮分布式問題,默認的session實現就行了,一旦多機部署,首先我們需要修改session方案,分布式session解決的是多機session狀態同步的問題,一般情況下,會有2種常見的方案