少量數據的實時處理可以使用JMS（Java Messaging Service）這類技術，但是數據量很大時便會出現性能瓶頸。而且這些方案不適合橫向擴展。

針對這段時間所學的做了一個簡單的綜合應用，應用的場景為統計一段時間內各個小區的網絡信號覆蓋率，計算公式如下所示：

源文件放在github，隨著理解的深入，不斷更新，如有謬誤之處，歡迎指正。 原文鏈接https://github.com/jacksu/utils4s/blob/master/spark-kno...

1、zookeeper客戶端相關命令 在確保zookeeper服務啟動狀態下，通過 bin/zkCli.sh -server 127.0.0.1:2181 該命令來連接客戶端 簡單操...

Kafka提供了非常多有用的工具，如 Kafka設計解析（三）- Kafka High Availability （下） 中提到的運維類工具——Partition Reassign Tool，P...

現在我們構建Kafka消息訂閱發布系統。Kafka支持多種集群方式，例如：

在開始開發producer和consumer之前，先從設計的角度看一看Kafka。

在當前的大數據時代，第一個挑戰是海量數據的收集，另一個就是這些數據的分析。數據分析的類型通常有用戶行為數據、應用性能跟蹤數據、活動數據日志、事件消息等。消息發布機制用于連接各種應用并在它們之間路...

前段時間寫的《Spring+Log4j+ActiveMQ實現遠程記錄日志——實戰+分析》得到了許多同學的認可，在認可的同時，也有同學提出可以使用Kafka來集中管理日志，于是今天就來學習一下。 ...

在之前的博客中，介紹了Kafka Web Console這 個監控工具，在生產環境中使用，運行一段時間后，發現該工具會和Kafka生產者、消費者、ZooKeeper建立大量連接，從而導致網絡阻塞...

問題導讀： 1.zookeeper在kafka的作用是什么？ 2.kafka中幾乎不允許對消息進行“隨機讀寫”的原因是什么？ 3.kafka集群consumer和producer狀態...

之前轉的文章《Kafka架構和原理深度剖析》中介紹了Kafka的原理，本文記錄一下其安裝配置和測試的過程。

kafka 應用場景 日志收集 消息系統 解耦生產者和消費者、緩存消息。 用戶活動跟蹤: 就是我們在做的。 運營指標：生產各種操作的集中反饋。 流式處理：比如...

Sidekick 是數字營銷公司 HubSpot 的一款產品，用于在接收者打開郵件時實時通知發送者。創建和發送通知的基礎設施以 Kafka 為基礎創建。 Ze'ev Klapow 是 Side...

在LinkedIn的數據基礎設施中，Kafka是核心支柱之一。來自LinkedIn的工程師曾經就Kafka寫過一系列的專題文章，包括它的 現狀和未來 、 如何規模化運行 、 如何適應Linked...

Kafka是最初由Linkedin公司開發，是一個分布式、分區的、多副本的、多訂閱者，基于zookeeper協調的分布式日志系統(也可以當做MQ系統)，常見可以用于web/nginx日志、訪問日...

經過前面Kafka實戰系列的學習，我們通過學習《Kafka實戰－入門》了解Kafka的應用場景和基本原理，《 Kafka實戰－Kafka Cluster 》一文給大家分享了Kafka集群的搭建部...

前面給大家介紹了整個Kafka項目的開發流程，今天給大家分享Kafka如何獲取數據源，即Kafka生產數據。

Kafka是一個消息系統，原本開發自LinkedIn，用作LinkedIn的活動流（activity stream）和運營數據處理管道（pipeline）的基礎。現在它已為多家不同類型的公司 作...

在《Kafka實戰－簡單示例》一文中給大家介紹來Kafka的簡單示例，演示了如何編寫Kafka的代碼去生產數據和消費數據，今天給大家介紹如何去整 合一個完整的項目，本篇博客我打算為大家介紹Flu...