XXL-JOB是一個輕量級分布式任務調度框架，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼并接入多家公司線上產品線，開箱即用。

一提起“分布式系統”，大家的第一感覺就是好高大上啊，深不可測，看各類大牛關于分布式系統的演講或者書籍，也大多是一臉懵逼。本文期望用淺顯易懂的大白話來就什么是分布式系統、分布式系統有哪些優勢、分布...

最近無意中看到一篇文章，介紹的是在IPython Notebook里實現ECharts的可視化效果。我個人對ECharts一直是推崇有加，是baidu發布的開源項目中我比較喜歡的一個，絕對是良心...

本文主要幫助初學者快速了解Spark，不會面面俱到，但核心一定點到。

眾多不同的數據模型里，關系數據模型自20世紀80年代就處于統治地位，而且出現了不少巨頭，如Oracle、MySQL和MSSQL，它們也被稱為關系數據庫管理系統（RDBMS）。然而，隨著關系數據庫...

Dubbo是一個分布式服務框架，致力于提供高性能和透明化的RPC遠程服務調用方案，以及SOA服務治理方案；

扛住100億次請求？我們來試一試 1. 前言 前幾天，偶然看到了 《扛住100億次請求——如何做一個“有把握”的春晚紅包系統”》（ url ）一文，看完以后，感慨良多，收益很多。正所謂他山之石，...

當前互聯網時代，怎么少的了 高并發 呢？ 高并發 和 高可用 一樣， 已經變成各個系統的標配了，如果你的系統QPS沒有個大幾千上萬，都不好意思跟人打招呼，雖然可能每天的調用量不超過100。

【數據蟲巢】大數據技術文章合集 一、挖掘機系列 要說起霧霾，那到底是不是北京的醇厚？ 2016-12-21 用數據挖一挖豆瓣5.3的《長城》，水軍力量到底有多強大 2016-12-19 數據化政...

Apache Spark 是用于大規模數據處理的快速和通用引擎，它運行在 Hadoop，Mesos，可以離線或云端運行，具有高速、可擴展等特點。近年來，在 IBM 等大公司和眾多社區貢獻者的推動...

英特爾今天宣布推出開源 BigDL，一個用于 Apache Spark 開源集群計算框架的分布式深度學習庫。

Reddit 是著名的社交新聞網站，光是在2012年，它的獨立訪客就達到了4000萬，頁面瀏覽量達到了370億次。幾年過去了，網站用戶有增無減，而隨著用戶的增多，網站的響應速度卻一直在改進。這要...

Apache Beam是一個開源的數據處理編程庫，由Google共享給Apache的項目，前不久剛剛成為Apache TLP項目。它提供了一個高級的、統一的編程模型，允許我們通過構建Pipeli...

Apache Flink 提供了可以恢復數據流應用到一致狀態的容錯機制。確保在發生故障時，程序的每條記錄只會作用于狀態一次（exactly-once），當然也可以降級為至少一次（at-least-once）。

很多初學的朋友對大數據挖掘第一直觀的印象，都只是業務模型，以及組成模型背后的各種算法原理。往往忽視了整個業務場景建模過程中，看似最普通，卻又最精髓的特征數據清洗。可謂是平平無奇，卻又一掌定乾坤，...

大規模機器學習工程上最大的挑戰是模型的規模。在計算廣告，推薦系統的場景下，運用Logistic Regression算法時常需要做特征交叉。原來兩組，三組特征的數量可能并不是太大，但是通過交叉后...

我們通常衡量一個Web系統的吞吐率的指標是QPS（Query Per Second，每秒處理請求數），解決每秒數萬次的高并發場景，這個指標非常關鍵。舉個例子，我們假設處理一個業務請求平均響應時間...

微信存儲QuorumKV是一個分布式的存儲系統，覆蓋但不限于微信后臺核心業務：賬號/用戶信息/關系鏈/朋友圈，等等。

SyncSpout是上海華瑞銀行（SHRB）大數據團隊開發的，用來構造可交互的、同步的Storm拓撲的組件。我們在做實時推薦系統中，希望將Storm的并發性和分布式計算能力應用到“請求-響應”范...

SyncSpout是上海華瑞銀行（SHRB）大數據團隊開發的，用來構造可交互的、同步的Storm拓撲的組件。我們在做實時推薦系統中，希望將Storm的并發性和分布式計算能力應用到“請求-響應”范...