過去的一年多的時間中，大部分的工作都圍繞著Zeppelin這個項目展開，經歷了Zeppelin的從無到有，再到逐步完善穩定。見證了Zeppelin的成長的同時，Zeppelin也見證了我的積累進...

在現代分布式系統中，節點數目是巨大的。在 CAP 理論的范圍內， MichaelStonebraker 斷言分區必然會發生，并且系統內發生節點失敗的機會隨著節點數的增加而呈指數級增加

不久之前，機器之心推薦了一篇論文，介紹 UC Berkeley 研究員發布的分布式系統 Ray。開發者稱，Ray 專門為人工智能應用設計，通過這款框架，運行于筆記本電腦上的原型算法僅需加入數行代...

思來想去，個人覺得要理解 「分布式事務」 ，必須先知道什么是“事務（Transaction）”。

本文從計算機領域的“祖師爺”艾倫·圖靈提出的圖靈機概念開始，介紹了圖形計算的概念，并以示例介紹了apache storm，基于apache storm如何進行分布式圖形計算。apache sto...

氣象數據是一類典型的大數據，具有數據量大、時效性高、數據種類豐富等特點。氣象數據中大量的數據是時空數據，記錄了時間和空間范圍內各個點的各個物理量的觀測量或者模擬量，每天產生的數據量常在幾十TB到...

說起架構，大多人想到的是技術語言、技術框架、SOA、微服務、中間件等，這些都是純粹的系統架構或基礎架構，它們基本不受業務影響，大多可以獨立于具體業務進行開發和發展，形成自己獨立的體系甚至標準化的技術產品。

初始階段 的小型系統 應用程序、數據庫、文件等所有的資源都在一臺服務器上通俗稱為LAMP特征：應用程序、數據庫、文件等所有的資源都在一臺服務器上。描述：通常服務器操作系統使用linux，應用程序...

機器學習，特別是深度學習（DL），最近已經在語音識別、圖像識別、自然語言處理、推薦/搜索引擎等領域獲得了成功。這些技術在自主駕駛汽車、數字衛生系統、CRM、廣告、物聯網等方面都存在著非常有前景...

CoCoA?是一個通用分布式優化框架，可以在分布式集群中實現通信高效的原始-對偶優化。它的方式是利用對偶性將全局目標分解成局部二次近似子問題，而這些子問題可以使用架構師選擇的任意當前最佳的單機求...

機器學習和深度學習是近年技術的熱點，面對眾多的機器學習平臺如何進行選擇，這是一個很困擾的問題。本文對分布式機器學習（ML）平臺中使用的設計方法進行了調查，并提出了未來的研究方向。

Kafka是最初由Linkedin公司開發，是一個分布式、分區的、多副本的、多訂閱者，基于zookeeper協調的分布式日志系統（也可以當做MQ系統），常見可以用于web/nginx日志、訪問日...

Google的三篇論文影響了很多很多人，也影響了很多很多系統。這三篇論文一直是分布式領域傳閱的經典。根據MapReduce，于是我們有了Hadoop；根據GFS，于是我們有了HDFS；根據Big...

許令波，花名君山，現任滴滴出行技術研究員，從事容器化和資源調度方面的技術建設。曾在淘寶工作七余載，經歷了淘寶網 PV 從 1 到 50 億的增長歷程。其中涉及端與管道、應用層代碼級、應用架構和端...

當今IT開發人員面對的最大挑戰就是復雜性，硬件越來越復雜，OS越來越復雜，編程語言和API越來越復雜，我們構建的應用也越來越復雜。根據外媒的一項調查報告，中軟卓越專家列出了Java程序員在過去1...

摘要：本文屬于原創，歡迎轉載，轉載請保留出處： https://github.com/jasonGeng88/blog

應用開發時的常規做法，是調用日志系統的API進行日志的記錄，日志的具體記錄方式，通過日志系統實現庫對應的配置文件進行配置，比如使用log4j2的話，可能就是 log4j2.xml 文件，日志通常...

分布式調度在互聯網企業中占據著十分重要的作用，尤其是電子商務領域，由于存在數據量大、高并發的特點，對數據處理的要求較高，既要保證高效性，也要保證準確性和安全性，相對比較耗時的業務邏輯往往會從中剝...

最近在學習zookeeper原理的時候了解到了paxos算法,看了幾篇文章之后還是感覺有些迷糊,后來看了知行學社的 paxos視頻 才對這個算法有了一定的了解,這里就做一下總結.

在支付、交易、訂單等強一致性系統中，我們需要使用分布式事務來保證各個數據庫或各個系統之間的數據一致性。