• 分布式文件系統:HekaFS 經驗

    HekaFS 是一個分布式文件系統,專門為云服務提供者解決存儲問題,提供文件系統級別的訪問。 CloudFS is a distributed fileysystem specifically intended

    jopen 2014-09-05   13191   0

    聊聊分布式事務 經驗

    。就要么生,要么死。沒有半死不死的中間不可預期狀態。 參考下薛諤的貓。 事務是為了保障業務數據的完整性和準確性的。 分布式事務,常見的兩個處理辦法就是兩段式提交和補償。 兩段式提交典型的

    jopen 2015-01-28   13886   0
    事務  

    分布式消息隊列(Message Queue)系統:kafka 經驗

    分布式系統很重要的一個設計原則是松耦合,即盡量減少子系統間的依賴。這樣各個子系統可以相互獨立的進行演進,維護,重用等。Message Queue (MQ)是一種很好的解耦手段。要了解MQ在系統整合中的作用,可以看

    jopen 2015-03-26   29009   0

    Go 語言的分布式讀寫互斥 經驗

    Go 語言的分布式讀寫互斥 Go語言默認的 sync.RWMutex 實現在多核環境中表現并不佳,因為所有的讀者在進行原子增量操作時,會搶占相同的內存地址。該文探討了一種 n-way RWMutex,也可以稱為“大讀者(big

    bgn4 2015-05-06   14249   0

    常見分布式計算框架特點 經驗

    Spark 在進行處理時主要使用內存所以基本可以做到實時性,同時,在進行 DAG 引擎優化方面對速度也有一程度提升; Spark 本身是通過 DAGScheduler 與 TaskScheduler 實現任務調度以及計算節點切換,現在

    jopen 2015-07-08   17537   0

    分布式數據庫事務 經驗

    分布式數據庫環境中,一個數據庫事務可以更新多個場地上的數據,這種數據庫事務稱為分布式事務。 分布式事務必須滿足傳統事務的特性,即原子性,一致性,分離性和持久性。但是分布式事務處理過程中,某些場地(Server)可能發生故障,或

    jopen 2015-07-19   9621   0
    事務  

    分布式機器學習框架:Petuum 經驗

    Petuum 是一個分布式機器學習框架。它致力于提供一個超大型機器學習的通用算法和系統接口。它主要集中在系統上 "plumbing work"和算法加速的優化上面,當簡化分布式 ML 程序實現時——允

    juio 2015-05-21   47778   0

    ?兔子和分布式機器學習 經驗

    兔子和分布式機器學習 上個學習的時候,我除了 TA 機器學習以外,另外一半的時間就是上了 System 課程。因為上課的緣故,需要做一個課程項目,于是我決定做一些和分布式機器學習相關的事情。 來到

    gcd8 2015-01-21   34205   0

    分布式流式處理框架:Storm 經驗

    Storm是一個免費開源、分布式、高容錯的實時計算系統。它與其他大數據解決方案的不同之處在于它的處理方式。Hadoop 在本質上是一個批處理系統,數據被引入 Hadoop 文件系統 (HDFS) 并分

    jopen 2014-12-03   27828   0

    用 Docker 構建分布式 Redis 集群 經驗

    【編者的話】本文介紹了如何使用Docker搭建Redis集群,很多讀者都在問Docker能帶來哪些實質性的好處,我想本文就是一個很好的例子。不使用Docker你也可以搭建Redis集群,那使用Docker后會有怎么樣的優勢了?我想可以用兩個詞總結:快速和復用。

    jopen 2015-02-06   44625   0
    Docker  

    Git之分布式VS集中式 經驗

    Linus一直痛恨的CVS及SVN都是集中式的版本控制系統,而Git是分布式版本控制系統,集中式和分布式版本控制系統有什么區別呢? 先 說集中式版本控制系統,版本庫是集中存放在中央服務器的,而干活

    jopen 2015-01-06   9421   0

    談談分布式計算的算子層 經驗

    本文是我對分布式計算的算子這層的一些認識和想法。因為最近自己的開發任務也是這方面相關的,公司內部有自研的類流式計算框架需要做一層算子層。我主要分析的是流式系統上實現算子這一點入手,對比現有計算框架和業界正在開展的項目,分析分析這件事的

    jopen 2015-01-16   18290   0

    NodeJS+Redis實現分布式Session方案 經驗

    數據庫存儲 分布式緩存存儲 分布式Session 隨著網站規模(訪問量/復雜度/數據量)的擴容,針對單機的方案將成為性能的瓶頸,分布式應用在所難免。所以,有必要研究一下 Session 的分布式存儲。

    jopen 2014-11-15   50417   0

    Hadoop:分布式計算平臺初探 經驗

    是Appach的一個用java語言實現開源軟件框架,實現在大量計算機組成的集群中對海 量數據進行分布式計算。Hadoop框架中最核心設計就是:MapReduce和HDFS。MapReduce提供了對數據的計算,HDFS提供了海量數

    jopen 2014-12-03   24277   0

    NoSQL中的分布式、容錯事務 經驗

    隨之而來的是分布式、容錯事務又開始出現在了人們的視野中。 向分布式、容錯事務領域的進軍起始于2012年秋季,那時Google發布了 Spanner 數據庫。Spanner是個全局分布式、容錯、事務

    jopen 2015-01-15   19908   0

    反思 | 分布式框架是必須的嗎? 經驗

    難進行維持。 目前,我正在使用一個分布式系統并且它沒有使用任何上述技術。這個分布式系統運行的很好,雖然它不完美,但是它的確實現了。這就引發我思考分布式框架是否是必須的。實際上,MapReduc

    jopen 2015-09-24   9007   0

    Apache SINGA ——分布式深度學習平臺 經驗

    在 2015 年 3 月 17 日接納的一個孵化項目,是個分布式深度學習平臺。 SINGA 是基于大型數據集訓練大型深度學習模塊的常規分布式學習平臺。SINGA 支持各種流行的深度學習模塊,其中的 feed-forward

    jopen 2016-01-17   8623   0

    jedisLock—redis分布式鎖實現 經驗

    一、使用分布式鎖要滿足的幾個條件: 系統是一個分布式系統(關鍵是分布式,單機的可以使用ReentrantLock或者synchronized代碼塊來實現) 共享資源(各個系統訪問同一個資源,資

    AliciaDeal 2016-10-11   13437   0

    餓了么分布式服務治理及優化經驗 經驗

    PHP 做的,沒有自我保護機制,不管有多少連接都會接收,如果后端處理不過來,前端流量又很大的時候肯就掛了。所以我們做任何框架都會有限流措施。 有個小插曲,我們上 DAL (數據庫中間件)第一版的時候,有次一個業務怎么指標突然降了

    Mal24L 2016-08-18   48427   0
    P33

      chapter 6 分布式系統中的死鎖 文檔

    1. 第六章 分布式系統中的死鎖 2. 6.1 死鎖問題一般地說,分布式系統涉及更廣泛的資源和數據共享。 同集中式系統相比,分布式系統需要通過多個機器才能得到相關信息,其死鎖更難避免、更難防止、更難檢

    dejunw 2013-02-05   2291   0
    1 2 3 4 5 6 7 8 9 10
  • sesese色