BlockChain 是 世界上最流行的比特幣錢包 背后的公司，正在開發一個 非常有趣的項目，叫做 Thunder 。Thunder 網絡是多節點網絡的替代品，可以在幾秒內完成鏈外的比特幣支付，...

Spark的性能分析和調優很有意思，今天再寫一篇。主要話題是shuffle，當然也牽涉一些其他代碼上的小把戲。

路由器是整個網絡的核心。一個網絡內的所有主機往往都設置一條缺省路由，這樣，主機發出的目的地址不在本網段的報文將被通過缺省路由發往路由器，從而實現了主機與外部網絡的通信。在通常只使用單路由器來承擔...

王聯輝，曾在騰訊，Intel 等公司從事大數據相關的工作。2013 年 - 2016 年先后負責騰訊 Yarn 集群和 Spark 平臺的運營與研發。曾負責 Intel Hadoop 發行版的 ...

日前，Twitter在 Github 上基于Apache 2許可證協議 開源了其日志服務DistributedLog（DL） 。DL是一個高性能的日志復制服務，提供了持久化、復制以及強一致性的功...

這篇文章將介紹基于流式API數據來演示如何預測資源需求變化來調整資源分配。

繼基礎篇講解了每個Spark開發人員都必須熟知的開發調優與資源調優之后，本文作為《Spark性能優化指南》的高級篇，將深入分析數據傾斜調優與shuffle調優，以解決更加棘手的性能問題。

春晚直播期間討論春晚的微博達到5191萬條，網友互動量達到1.15億，網友搶微博紅包的總次數超過8億次。

隨著樂視硬件搶購的不斷升級，樂視集團支付面臨的請求壓力百倍乃至千倍的暴增。作為商品購買的最后一環，保證用戶快速穩定的完成支付尤為重要。所以在15年11月，我們對整個支付系統進行了全面的架構升級，...

當前的云計算領域，OpenStack在IaaS層的主導地位毋庸置疑，然而僅僅靠基礎架構層的云化并不能滿足企業所需的敏捷性、靈活性，前沿的云計算技術實踐，還需要通過PaaS層的變革實現應用的高效交...

數據分析的統計計數和多維分析，我們通常稱之為數據探索式分析，這個步驟旨在了解數據的特性，有助于我們進一步挖掘數據的價值。而基于我們對數據的理解，再引入機器學習的算法對數據做出預測就變得水到渠成了。

這是用微服務開發應用系列博客的第七篇也是最后一篇。第一篇中介紹了微服務架構模式，并且討論了微服架構的優缺點；接續文章討論了微服務架構不同方面：使用API網關，進程間通信，服務發現，事件驅動數據管...

摘要： 先從產品層?面介紹一下Feed業務。Feed本?身就是一段簡短文字加一張圖片，帶有位置信息，發布之后可以被好友和附近的人看到，通過點贊評論的方式互動。類似微博和朋友圈。

繼上文 Flink 原理與實現：架構和拓撲概覽 中介紹了Flink的四層執行圖模型，本文將主要介紹 Flink 是如何根據用戶用Stream API編寫的程序，構造出一個代表拓撲結構的StreamGraph的。

要了解一個系統，一般都是從架構開始。我們關心的問題是：系統部署成功后各個節點都啟動了哪些服務，各個服務之間又是怎么交互和協調的。下方是 Flink 集群啟動后架構圖。

在大數據計算領域，Spark已經成為了越來越流行、越來越受歡迎的計算平臺之一。Spark的功能涵蓋了大數據領域的離線批處理、SQL類處理、流式/實時計算、機器學習、圖計算等各種不同類型的計算操作...

遠程過程調用 （RPC）范式的出現可以追溯到40年之前。時至今日，它仍是在編寫分布式應用時使用率最高的一種編程模型。

如今，Twitter 每秒可以創建并保存 3000 張（20GB）的圖片。2015 年，Twitter 甚至從對媒體存儲策略的優化中節省出了 600 萬美元。

《IBM發布首個深度學習類腦超級計算平臺IBM TrueNorth》 ：IBM 日前發布了一款用于深度學習的類腦超級計算平臺 IBM TrueNorth。新智元芯片專家群的幾位專家討論后認為：T...

QCon北京2016 全球軟件開發大會已于 4 月 23 日在北京國際會議中心順利閉幕。在21日進行的“ 基于云的 IT 系統升級部署”廠商共建專場活動中，來自才云、 又拍云 、 逸創云客服、云...