flume-ng+Kafka+Storm+HDFS 實時系統搭建
來自： http://blog.csdn.net/weijonathan/article/details/18301321 和 http://www.51studyit.com/html/notes/2...
一直以來都想接觸Storm實時計算這塊的東西，最近在群里看到上海一哥們羅寶寫的Flume+Kafka+Storm的實時日志流系統的搭建文檔，自己也跟著整了一遍，之前羅寶的文章中有一些要注意點沒提到的，以后一些寫錯的點，在這邊我會做修正；內容應該說絕大部分引用羅寶的文章的，這里要謝謝羅寶兄弟，還有寫這篇文章@晨色星空J2EE也給了我很大幫助，這里也謝謝@晨色星空J2EE
之前在弄這個的時候，跟群里的一些人討論過，有的人說，直接用storm不就可以做實時處理了，用不著那么麻煩；其實不然，做軟件開發的都知道模塊化思想，這樣設計的原因有兩方面：
一方面是可以模塊化，功能劃分更加清晰，從“數據采集--數據接入--流失計算--數據輸出/存儲”
1）.數據采集
負責從各節點上實時采集數據，選用cloudera的flume來實現
2）.數據接入
由于采集數據的速度和數據處理的速度不一定同步，因此添加一個消息中間件來作為緩沖，選用apache的kafka
3）.流式計算
對采集到的數據進行實時分析，選用apache的storm
4）.數據輸出
對分析后的結果持久化，暫定用mysql
另一方面是模塊化之后，加入當Storm掛掉了之后，數據采集和數據接入還是繼續在跑著，數據不會丟失，storm起來之后可以繼續進行流式計算；
那么接下來我們來看下整體的架構圖
詳細介紹各個組件及安裝配置：
操作系統：ubuntu
Flume
Flume是Cloudera提供的一個分布式、可靠、和高可用的海量日志采集、聚合和傳輸的日志收集系統，支持在日志系統中定制各類數據發送方，用于收集數據;同時，Flume提供對數據進行簡單處理，并寫到各種數據接受方(可定制)的能力。
下圖為flume典型的體系結構：
Flume數據源以及輸出方式:
Flume提供了從console(控制臺)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系統，支持TCP和UDP等2種模式)，exec(命令執行)等數據源上收集數據的能力,在我們的系統中目前使用exec方式進行日志采集。
Flume的數據接受方，可以是console(控制臺)、text(文件)、dfs(HDFS文件)、RPC(Thrift-RPC)和syslogTCP(TCP syslog日志系統)等。在我們系統中由kafka來接收。
Flume下載及文檔：
Flume安裝：
[plain] view plain copy
$tar zxvf apache-flume-1.4.0-bin.tar.gz/usr/local
Flume啟動命令：
[plain] view plain copy
$bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name producer -Dflume.root.logger=INFO,console
Kafka
kafka是一種高吞吐量的分布式發布訂閱消息系統，她有如下特性：
通過O(1)的磁盤數據結構提供消息的持久化，這種結構對于即使數以TB的消息存儲也能夠保持長時間的穩定性能。
高吞吐量：即使是非常普通的硬件kafka也可以支持每秒數十萬的消息。
支持通過kafka服務器和消費機集群來分區消息。
支持Hadoop并行數據加載。
kafka的目的是提供一個發布訂閱解決方案，它可以處理消費者規模的網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。 對于像Hadoop的一樣的日志數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。kafka的目的是通過Hadoop的并行加載機制來統一線上和離線的消息處理，也是為了通過集群機來提供實時的消費。
kafka分布式訂閱架構如下圖：--取自Kafka官網
羅寶兄弟文章上的架構圖是這樣的
其實兩者沒有太大區別，官網的架構圖只是把Kafka簡潔的表示成一個Kafka Cluster，而羅寶兄弟的架構圖就相對詳細一些；
Kafka版本：0.8.0
Kafka下載及文檔：http://kafka.apache.org/
Kafka安裝：
[plain] view plain copy
> tar xzf kafka-<VERSION>.tgz
> cd kafka-<VERSION>
> ./sbt update
> ./sbt package
> ./sbt assembly-package-dependency
啟動及測試命令：
（1） start server
[plain] view plain copy
> bin/zookeeper-server-start.shconfig/zookeeper.properties
> bin/kafka-server-start.shconfig/server.properties
這里是官網上的教程，kafka本身有內置zookeeper，但是我自己在實際部署中是使用單獨的zookeeper集群，所以第一行命令我就沒執行，這里只是些出來給大家看下。
配置獨立的zookeeper集群需要配置server.properties文件，講zookeeper.connect修改為獨立集群的IP和端口
[plain] view plain copy
zookeeper.connect=nutch1:2181
（2）Create a topic
[plain] view plain copy
> bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic test
> bin/kafka-list-topic.sh --zookeeperlocalhost:2181
（3）Send some messages
[plain] view plain copy
> bin/kafka-console-producer.sh--broker-list localhost:9092 --topic test
（4）Start a consumer
[plain] view plain copy
> bin/kafka-console-consumer.sh--zookeeper localhost:2181 --topic test --from-beginning
kafka-console-producer.sh和kafka-console-cousumer.sh只是系統提供的命令行工具。這里啟動是為了測試是否能正常生產消費；驗證流程正確性
在實際開發中還是要自行開發自己的生產者與消費者；
kafka的安裝也可以參考我之前寫的文章：http://blog.csdn.net/weijonathan/article/details/18075967
Storm
推ter將Storm正式開源了，這是一個分布式的、容錯的實時計算系統，它被托管在GitHub上，遵循 Eclipse Public License 1.0。Storm是由BackType開發的實時處理系統，BackType現在已在推ter麾下。GitHub上的最新版本是Storm 0.5.2，基本是用Clojure寫的。
Storm的主要特點如下：
簡單的編程模型。類似于MapReduce降低了并行批處理復雜性，Storm降低了進行實時處理的復雜性。
可以使用各種編程語言。你可以在Storm之上使用各種編程語言。默認支持Clojure、Java、Ruby和Python。要增加對其他語言的支持，只需實現一個簡單的Storm通信協議即可。
容錯性。Storm會管理工作進程和節點的故障。
水平擴展。計算是在多個線程、進程和服務器之間并行進行的。
可靠的消息處理。Storm保證每個消息至少能得到一次完整處理。任務失敗時，它會負責從消息源重試消息。
快速。系統的設計保證了消息能得到快速的處理，使用?MQ作為其底層消息隊列。（0.9.0.1版本支持?MQ和netty兩種模式）
本地模式。Storm有一個“本地模式”，可以在處理過程中完全模擬Storm集群。這讓你可以快速進行開發和單元測試。
由于篇幅問題，具體的安裝步驟可以參考我之前寫的文章：http://blog.csdn.net/weijonathan/article/details/17762477
接下來重頭戲開始拉！那就是框架之間的整合啦
flume和kafka整合
1.下載flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin
2.提取插件中的flume-conf.properties文件
修改該文件：#source section
producer.sources.s.type = exec
producer.sources.s.command = tail -f -n+1 /mnt/hgfs/vmshare/test.log
producer.sources.s.channels = c
修改所有topic的值改為test
將改后的配置文件放進flume/conf目錄下
在該項目中提取以下jar包放入環境中flume的lib下：
注：這里的flumeng-kafka-plugin.jar這個包，后面在github項目中已經移動到package目錄了。找不到的童鞋可以到package目錄獲取。
完成上面的步驟之后，我們來測試下flume+kafka這個流程有沒有走通；
我們先啟動flume，然后再啟動kafka，啟動步驟按之前的步驟執行；接下來我們使用kafka的kafka-console-consumer.sh腳本查看是否有flume有沒有往Kafka傳輸數據；
以上這個是我的test.log文件通過flume抓取傳到kafka的數據；說明我們的flume和kafka流程走通了；
大家還記得剛開始我們的流程圖么，其中有一步是通過flume到kafka，還有一步是到hdfs的；而我們這邊還沒有提到如何存入kafka且同時存如hdfs；
flume是支持數據同步復制，同步復制流程圖如下，取自于flume官網，官網用戶指南地址：http://flume.apache.org/FlumeUserGuide.html
怎么設置同步復制呢，看下面的配置：
[plain] view plain copy
#2個channel和2個sink的配置文件 這里我們可以設置兩個sink，一個是kafka的，一個是hdfs的；
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
具體配置大伙根據自己的需求去設置，這里就不具體舉例了
kafka和storm的整合
1.下載kafka-storm0.8插件：https://github.com/wurstmeister/storm-kafka-0.8-plus
2.使用maven package進行編譯，得到storm-kafka-0.8-plus-0.3.0-SNAPSHOT.jar包 --有轉載的童鞋注意下，這里的包名之前寫錯了，現在改正確了！不好意思！
3.將該jar包及kafka_2.9.2-0.8.0-beta1.jar、metrics-core-2.2.0.jar、scala-library-2.9.2.jar (這三個jar包在kafka項目中能找到)
備注：如果開發的項目需要其他jar，記得也要放進storm的Lib中比如用到了mysql就要添加mysql-connector-java-5.1.22-bin.jar到storm的lib下
那么接下來我們把storm也重啟下；
完成以上步驟之后，我們還有一件事情要做，就是使用kafka-storm0.8插件，寫一個自己的Storm程序；
這里我給大伙附上一個我弄的storm程序，百度網盤分享地址：http://pan.baidu.com/s/1mgp0LLY
先稍微看下程序的創建Topology代碼
數據操作主要在WordCounter類中，這里只是使用簡單JDBC進行插入處理
這里只需要輸入一個參數作為Topology名稱就可以了！我們這里使用本地模式，所以不輸入參數，直接看流程是否走通；
[plain] view plain copy
storm-0.9.0.1/bin/storm jar storm-start-demo-0.0.1-SNAPSHOT.jar com.storm.topology.MyTopology
先看下日志，這里打印出來了往數據庫里面插入數據了
然后我們查看下數據庫；插入成功了！
到這里我們的整個整合就完成了！
但是這里還有一個問題，不知道大伙有沒有發現。這個也是@晨色星空J2EE跟我說的，其實我也應該想到的；
由于我們使用storm進行分布式流式計算，那么分布式最需要注意的是數據一致性以及避免臟數據的產生；所以我提供的測試項目只能用于測試，正式開發不能這樣處理；
@晨色星空J2EE給的建議是建立一個zookeeper的分布式全局鎖，保證數據一致性，避免臟數據錄入！
zookeeper客戶端框架大伙可以使用Netflix Curator來完成，由于這塊我還沒去看，所以只能寫到這里了！
這里在一次謝謝羅寶和@晨色星空！