通過對mfs分布式文件系統中各個模塊的拆分組合,較為詳細且清晰的實現其配置 mfs分布式文件系統,所需主機: 管理服務器 managing server (master? vm3) 元數據日志服務器
分表,是垂直劃分(可以簡單的理解為按業務功能劃分), 還是水平劃分(如用戶表數據量很多,就可以按一定的規則分表設計,表結構仍然是相同的)。如Web應用服務器壓力大,可以增加一臺服務部署應用, 即從單臺
Microservices infrastructure 是一個為快速部署全球分布式服務的現代平臺。 基礎平臺包括可以用來管理集群和資源節點數量的控制節點。容器可以自動在 DNS 上注冊,從而使其他服務能夠定位到它們
MemDB 是全球首個支持分布式事務的 MongoDB。 高性能和可伸縮 快速的內存數據訪問,高達 25,000 ops (single doc read/write) /碎片 (each shard
Celery (芹菜)是基于Python開發的分布式任務隊列。它支持使用任務隊列的方式在分布的機器/進程/線程上執行任務調度。 一、架構設計 Celery的架構由三部分組成,消息中間件(message
SeaweedFS 是簡單,高伸縮性的分布式文件系統,包含兩部分:存儲數十億的文件;快速為文件服務。SeaweedFS 作為支持全 POSIX 文件系統語義替代,Seaweed-FS 選擇僅實現 key-file
務器了,如果不想要搭建集群服務器,可將相應的功能剝離出來成為單一的項目,也就是分布式結構。 由于后期必然會演變成分布式架構,而各個結構又是集群,因此如果當前情況下就把項目構架得太多復雜,投入再多的
前言 “分布式隊列編程”是一個系列文,之前我們已經發布了《 分布式隊列編程模型、實戰 》,主要剖析了分布式隊列編程模型的需求來源、定義、結構以及其變化多樣性;根據作者在新美大實際工作經驗,給出了隊
個區也需要進行數據冗余處理。這就是數據副本:當出現某個節點的數據丟失時可以從副本讀到,數據副本是分布式系統解決數據丟失異常的唯一手段。所以,在這篇文章中,簡單起見,我們只討論在數據冗余情況下考慮數據的一致性和性能的問題。簡單說來:
HBase是?Hadoop 的正式子項目,它是一個面向列的分布式數據庫。是建立的hdfs之上,提供高可靠性、高性能、列存儲、可伸縮、實時讀寫的數據庫系統。 它介于nosql和RDBMS之間,僅能通過主鍵(row
FourInOne(中文名字“四不像”)是一個四合一分布式計算框架,在寫這個框架之前,我對分布式計算進行了長時間的思考,也看了老外寫的其他開源框架,當我們把復雜的hadoop當作一門學科學習時,似乎忘
Yahoo!的PNUTS是一個分布式的數據存儲平臺,它是 Yahoo!云計算平臺重要的一部分。它的上層產品通常也稱為Sherpa。按照官方的 描述,”PNUTS, a massively parallel
Twitter已經從以往的數據存儲開發經驗中提出一個名為 Gizzard的Scala框架,讓用戶可以更方便地創建自定義容錯、分布式數據庫。Twitter給出了一個名為“Rowz”的示例,方便用戶上手。 Twitter還公布了Gi
Disco是一個基于MapReduce的分布式計算框架。Disco是一個開源項目,由諾基亞研究中心開發用來解決處理大數據時碰到的實際問題。 Disco采用Python開發,具有易于使用,強大的特點
SmartFrog 是一個功能強大而且靈活的用于配置發布和管理分布式軟件系統的 Java 平臺。 SmartFrog由以下三部分組成: A Language for defining configurations
SharedCache是高性能的、分布式的內存對象系統,用于在動態WEB或Win應用程序中減少數據庫的負責,提高訪問速度。SharedCache 全部的代碼都是用c#寫的,100% DotNet原生態。
MyRPC是個遠程過程調用框架,設計用來方便地連接異構系統。它具有基于IDL的客戶機/服務器存根生成,多平臺支持,二進制協議(不需要轉義二進制數據,更少的開銷),支持各種數據類型(如字符串,二進制,符號和無符號整數,浮點數,列表,結構和枚舉),和異常的支持。
Elasticsearch是一個基于lucene的、開源的、分布式的、RESTful的搜索引擎。Elasticsearch有如下特征: 1. 更快的執行搜索; 2. 安裝簡單; 3. 完全自由的搜索模式;
Ganglia是一個跨平臺可擴展的,高 性能計算系統下的分布式監控系統,如集群和網格。它是基于分層設計,它使用廣泛的技術,如XML數據代表,便攜數據傳輸,RRDtool用于數據存儲和可 視化。它利用精
GridWay 是一個工作負載管理器,用于在一個由不同計算平臺組成的 grid 中執行作業管理和資源調配。GridWay 主要任務是大規模、可靠和高效的計算資源分片管理。