memcached的分布式算法-Consistent Hashing 前言: 我們知道以往資料要放到 M 臺服務器上,最簡單的方法就是取余數 (hash_value % M) 然后放到對應的服
hmux協議開發等系統,避免了上線帶來的很多問題。 總體說來,tcpcopy主要有如下功能: 1)分布式壓力測試工具,利用在線數據,可以測試系統能夠承受的壓力大小(遠比ab壓力測試工具真實地多),也可以提前發現一些bug
SolrCloud 是基于 Solr 和 Zookeeper 的分布式搜索方案,是正在開發中的 Solr4.0 的核心組件之一,它的主要思想是使用 Zookeeper 作為集群的配置信息中心。它有幾個特色功能:
The Spread Toolkit 是高性能的分布式分組消息系統,支持局域網以及廣域網通訊. Spread可以作為一個分布式應用的消息總線,并且具有高度的靈活性,可以做到多播,分組,以及點對點餓消息傳遞。
Cassandra是一套 開源分布式Key-Value存儲系統 。它最初由Facebook開發,用于儲存特別大的數據。 Facebook目前在使用此系統 。 主要特性: 分布式 基于column的結構化
Elliptics network 是一個具備容錯能力的分布式哈希表對象存儲系統。 主要特性: 分布式哈希表、無需元數據服務器,具備水平伸縮能力 數據復制 支持事務處理和并行IO 不同的IO存儲后端,模塊化架構允許自行擴展
Osiris 是一套去中心化的分布式論壇程序。GIT式的內容控制能力和信用的繼承功能,讓它十分有趣。程序使用 C++ 編寫,采用Python作腳本引擎。 * P2P – 公鑰加密系統配合P2P技術,讓
R-OSGi 是一套適用于任意滿足 OSGi 架構的分布式通訊組件。它以 jar 的形式發布,部署容易,使用也較為便捷。 概括下用戶只需要完成如下幾步。 在 Server 端: OSGi 容器內啟動
ActorDB 是一個分布式的 SQL 數據庫,可實現可伸縮的 K/V 存儲系統。ActorDB 基于 Actor 計算模型,與傳統的集中式數據庫不同,ActorDB 由任意數量的被成為 actor 的獨立和并發
Youtube出品的開源分布式MySQL工具集Vitness,自動分片存儲MySQL數據表,將單個SQL查詢改寫為分布式發送到多個MySQL Server上,支持行緩存(比MySQL本身緩存效率高),
SnackFS 是一個很小的、輕量級的兼容 HDFS 的文件系統,基于 Cassandra 構建。你需要做的只是指向 Cassandra 集群即可。該項目的目的就是為了替代 HDFS,速度更快更可靠。
FLOM 是一個分布式的鎖管理器,可用于避免 SHELL 欺騙和安全的執行不能在同一時間執行的不同任務。它可以管理進程的執行順序。 項目主頁: http://www.open-open.c
TDSS是一個高可擴展、高可用、高性能、面向互聯網服務的分布式存儲系統,主要針對海量的非結構化數據,它構筑在普通的Linux機 器集群上,可為外部提供高可靠和高并發的存儲訪問。它采用了HA架構和平滑擴
RDBMS的負擔加重、數據庫響應惡化、網站顯示延遲等重大影響。這時就該memcached大顯身手了。memcached是高性能的分布式內存緩存服 務器。一般的使用目的是,通過緩存數據庫查詢結果,減少數據庫訪問次數,以提高動態Web應用的速度、提高可擴展性。
ZeroRPC 是一個分布式的通訊框架。ZeroRPC-Node 是 ZeroRPC 的 node.js 版本。這個項目還處于 alpha 階段。 項目主頁: http://www.open-open
kestel是一個簡單,分布式消息隊列系統。 特性: fast It runs on the JVM so it can take advantage of the hard work people
Quantcast File System (QFS) 是一個高性能、容錯、分布式的文件系統,其開發是用于支持 MapReduce 處理或者需要順序讀寫大文件的應用。 項目主頁: http://www
在異構型環境中運行的能力。即使所有機器硬件一樣,但某些機器在某些時候可能因為軟件原因、網絡原因也會性能降低。分布式操作時,要防止木桶效應。 4.活的查詢接口:商業化的數據分析一般建立在SQL查詢上,UDF等non-SQL也是需要的。
Martinet 是分布式任務管理工具。 Martinet 數據庫后端,基于 zeroMQ 的分布式任務管理系統。Martinet 可以使用任意的 sequelize.js 兼容的數據庫(默認是 SQLite)。
Tachyon 是一個分布式內存文件系統,可以在集群里以訪問內存的速度來訪問存在tachyon里的文件。把Tachyon是架構在最底層的分布式文件存儲和上層的各種計算框架之間的一種中間件。主要職責是將