Twitter 的實時性特點為 Twitter 的工程團隊帶來了獨特而具有挑戰性的問題。我們需要快速發布突發新聞，向用戶提供相關廣告，并解決很多其他實時性問題。Twitter 的 Pub/Sub...

在IM這種講究高并發、高消息吞吐的互聯網場景下，MQ消息中間件是個很重要的基礎設施，它在IM系統的服務端架構中擔當消息中轉、消息削峰、消息交換異步化等等角色，當然MQ消息中間件的作用遠不止于此，...

今天我們要講的大數據公司叫作Confluent，這個公司是前LinkedIn員工出來后聯合創辦的，而創業的基礎是一款叫作Apache Kafka的開源軟件。

Apache Flink 和 Apache Storm 是當前業界廣泛使用的兩個分布式實時計算框架。其中 Apache Storm （以下簡稱“Storm”）在美團點評實時計算業務中已有較為成熟...

Kafka是最初由Linkedin公司開發，是一個分布式、分區的、多副本的、多訂閱者，基于zookeeper協調的分布式日志系統（也可以當做MQ系統），常見可以用于web/nginx日志、訪問日...

在分布式領域中存在著三種類型的消息投遞語義，分別是：最多一次（at-most-once）、至少一次（at-least-once）和恰好一次（exactly-once）。本文作者介紹了一個利用Ka...

Kafka-php 使用純粹的PHP 編寫的 kafka 客戶端，目前支持 0.8.x 以上版本的 Kafka，該項目 v0.2.x 和 v0.1.x 不兼容，如果使用原有的 v0.1.x 的可...

As Kafka audit system, Chaperone monitors the completeness and latency of data stream. The audit ...

如果想深入了解Kafka的通訊協議的話，這篇文章不可不讀。感謝 watchword 將原文翻譯成了中文，我基于最新版進行了修訂,修訂和完善翻譯中的錯誤。

Kafka是LinkedIn開源出來的一款消息服務器，用scala語言實現；這貨的性能是百萬級的QPS(估計是掛載了多塊磁盤)。

DirectKafkaInputDStream 只在 driver 端接收數據，所以繼承了 InputDStream，是沒有 receivers 的在結合 Spark Streaming 及 K...

我們在思考流處理問題上花了很多時間，更酷的是，我們也花了很多時間幫助其他人認識流處理，以及如何在他們的組織里應用流處理來解決數據問題。

本篇文章中我們將學習如何使用Apache Spark streaming，Kafka，Node.js，Socket.IO和Highcharts構建實時分析Dashboard。

Kafka是一個開源的、分布式的、可分區的、可復制的基于日志提交的發布訂閱消息系統。

Storm 是一個分布式的實時計算框架，可以很方便地對流式數據進行實時處理和分析，能運用在實時分析、在線數據挖掘、持續計算以及分布式 RPC 等場景下。Storm 的實時性可以使得數據從收集到處...

本文介紹了 Kafka 的隊列實現以及其讀寫過程。Kafka 認為操作系統級別的文件緩存比 Java 的堆內存更省空間和高效，如果生產者消費者之間比較「和諧」的話，大部分的讀寫操作都會落在文件緩...

JMQ是京東自主研發的一款消息中間件系統，具有高可用、數據高可靠等特性。廣泛應用于公司內部系統，包括訂單、支付、庫房等場景。

Kafka 是 LinkedIn 開發的一個分布式的消息中間件。由于其高吞吐量、可水平擴展等特性，目前被廣泛使用，已經是目前大數據生態系統中不可或缺的一環，有關其詳細介紹可以查看官方的文檔。Ka...

從技術上來講DistributedLog并不是一個象Apache Kafka那么成熟的、有分區機制的廣播/訂閱系統。DistributedLog是一個復制日志流倉庫，它用來做日志分區倉庫。它關注...

Kafka作為一個消息中間件系統，面臨的首要問題就是消息如何持久化，如何方便地進行讀寫和解析。