Twitter 的實時性特點為 Twitter 的工程團隊帶來了獨特而具有挑戰性的問題。我們需要快速發布突發新聞，向用戶提供相關廣告，并解決很多其他實時性問題。Twitter 的 Pub/Sub...

之前一直使用Logstash作為日志文件采集客戶端程序。Logstash功能強大，有豐富的數據處理插件及很好的擴展能力，但由于使用JRuby實現，性能堪憂。而Filebeat是后來出現的一個用g...

大數據的浪潮仍在繼續。它滲透到了幾乎所有的行業，信息像洪水一樣地席卷企業，使得軟件越發龐然大物，比如Excel看上去就變得越來越笨拙。數據處理不再無足輕重，并且對精密分析和強大又實時處理的需要變...

As Kafka audit system, Chaperone monitors the completeness and latency of data stream. The audit ...

Kafka是一個開源的、分布式的、可分區的、可復制的基于日志提交的發布訂閱消息系統。

分布式存儲系統除了要保證客戶端寫請求流程的正確性，節點可能會非正常宕機或者需要重啟，在啟動的時候必須要能夠正常地加載/恢復已有的數據，日志管理類在創建的時候要加載已有的所有日志文件，這和創建Lo...

隨著云計算、PaaS平臺的普及，虛擬化、容器化等技術的應用，例如Docker等技術，越來越多的服務會部署在云端。

Kafka是一種分布式的，基于發布/訂閱的消息系統。主要設計目標如下： 以時間復雜度為O(1)的方式提供消息持久化能力，即使對TB級以上數據也能保證常數時間的訪問性能 高吞吐率。即使在非常廉...

Kafka分區機制介紹與示例：Kafka中可以將Topic從物理上劃分成一個或多個分區（Partition），每個分區在物理上對應一個文件夾， 以”...

Kafka 0.9+增加了一個新的特性 Kafka Connect ,可以更方便的創建和管理數據流管道。它為Kafka和其它系統創建規模可擴展的、可信賴的流數據提供了一個簡單的模型，通過 con...

Apache Kafka是一個快速可擴展的消息隊列，能夠應對繁重的讀寫負載，即IO相關工作。更多信息請參見http://kafka.apache.org。由于Zookeeper能提供可靠的分布式...

1.Kafka獨特設計在什么地方？ 2.Kafka如何搭建及創建topic、發送消息、消費消息？ 3.如何書寫Kafka程序？ 4.數據傳輸的事務定義有哪三種？ 5.Kafk...

本文講述了如何在Windows OS上配置并啟動Apache Kafka，這篇指南將會指導你安裝Java和Apache Zookeeper。 Apache Kafka是一個快速可擴展的消息隊...

1.Kafka獨特設計在什么地方？ 2.Kafka如何搭建及創建topic、發送消息、消費消息？ 3.如何書寫Kafka程序？ 4.數據傳輸的事務定義有哪三種？ 5.Kafka判...

在今天的文章中，我們將著重探討如何利用SMACK（即Spark、Mesos、Akka、Cassandra以及Kafka）堆棧構建可擴展數據處理平臺。雖然這套堆棧僅由數個簡單部分組成，但其能夠實現...

spark streaming從1.2開始提供了數據的零丟失，想享受這個特性，需要滿足如下條件：

之前有聽過Zero-Copy 技術，而Kafka是典型的使用者。網上找了找，竟然沒有找到合適的介紹文章。正好這段時間正在閱讀Kafka的相關代碼，于是有了這篇內容。這篇文章會簡要介紹Zero-C...

核心觀點： 服務的本質是數據的流轉與變換.數據的變換依賴于數據的流轉，只有流轉的數據才能夠被變換。基于這個理念，我們提出了Transformer架構。

雅虎Storm團隊排名不分先后 ） Sanket Chintapalli , Derek Dagit , Bobby Evans , Reza Farivar , Tom Grave...

Kafka集群管理內容包括服務器啟停、leader均衡、復制、集群鏡像、集群擴展等。