DirectKafkaInputDStream 只在 driver 端接收數據，所以繼承了 InputDStream，是沒有 receivers 的在結合 Spark Streaming 及 K...

本文是2015年肖飛在內部分享的《高性能高并發系統的穩定性保障》PPT內容。 性能、并發、穩定性三者關系 高性能：高吞吐量、低延時 公式：吞吐量（并發）=單位時間/平均延時 N-th% Late...

又到了年終歲尾時，業界權威市場研究和咨詢機構Ovum公司日前估計，大數據市場規模將從2016年的17億美元增長到2020年的94億美元。隨著市場的增長，企業的挑戰正在轉變，對人們的技能需求正在改...

Spark revolves around the concept of a resilient distributed dataset (RDD), which is an immutable...

2016年Q3季度初，在美團外賣上單2.0項目上線后，商家和商品數量急速增長，預估商品庫的容量和寫峰值QPS會很快遇到巨大壓力。隨之而來也會影響線上服務的查詢性能、DB（數據庫，以下統一稱DB）...

搭建Spark源碼研讀和代碼調試的開發環境

這篇文章要說道說道如何診斷HBase寫數據的異常問題以及優化寫性能。

推薦引擎在當前電商平臺用的相當多，本文簡單理解下常見的幾張推薦方式。首先說明下大數據用戶畫像可以用于針對性營銷和單品推薦，但是即使沒做用戶畫像也可以進行商品推薦。

工業和研究中數據的大幅增長為計算機科學帶來了巨大的機會與挑戰。由于數據大小超過了單臺機器的能力，用戶需要新的系統將計算擴展到多個節點。因此，針對不同計算工作負載的新集群編程模型已呈爆炸式增長。

早期我們和很多公司一樣使用的是zabbix監控， 應該說zabbix的功能還是蠻強大的。但是隨著公司的業務發展，我們很快發現有很多問題zabbix很難解決。

Corda is a decentralised database system in which nodes trust each other as little as possible.

用戶行為路徑分析是互聯網行業特有的一類數據分析方法，它主要根據每位用戶在App或網站中的點擊行為日志，分析用戶在App或網站中各個模塊的流轉規律與特點，挖掘用戶的訪問或點擊模式，進而實現一些特定...

本篇文章中我們將學習如何使用Apache Spark streaming，Kafka，Node.js，Socket.IO和Highcharts構建實時分析Dashboard。

當前， RESTful API 可能已經在你所在的組織中達到了某種 程度的 成功。當越來越多的微服務或API涌現出來時，API間的依賴也隨之增長，對服務的要求也更多的落在了提供盡可能穩定的API...

Google 使用的技術一般都自帶光環，吸引程序員的注意，基礎設施方面的東西就更是如此，年初 Google 發布了篇論文介紹內部的負載均衡器的實現，讓我們有機會一睹可能是全球最好的負載均衡器。

如今微服務架構討論的如火如荼。但在企業架構里除了大量的OLTP交易外，還存在海量的批處理交易。在諸如銀行的金融機構中，每天有3-4萬筆的批處理作業需要處理。針對OLTP，業界有大量的開源框架、優...

目前，數智大數據處理套件TBDS3.0正式版已經對外發布，數智大數據工坊也在邀測中，可見數智的產品矩陣與能力已經十分完善。同時，騰訊云大數據中的方略產品線，也已經上線了多款產品，包括用戶洞察分析...

Apache Beam(原名Google DataFlow)是Google在2016年2月份貢獻給Apache基金會的Apache孵化項目，被認為是繼MapReduce，GFS和BigQuery...

現在，許多人都會與來自不同地方的人一起工作。當和你一起合作工作的人不在同一個辦公室里時，就會出現各種狀況。我一直在研究這些狀況，我研究它們的時間超過了十年。在大多數情況下，它可以被歸結為我們所面對的五大問題。

市場上很多玩家已經建造了MapReduce工作流用來日常處理兆兆字節的歷史數據。但是誰愿意等待24小時來拿到更新后的分析報告？這篇文章會向你介紹 Lambda Architecture ，它被設...