Hadoop簡單應用案例,包括MapReduce、單詞統計、HDFS基本操作等
HadoopDemo
Hadoop簡單應用案例,包括MapReduce、單詞統計、HDFS基本操作、web日志分析、Zookeeper基本使用等
運行環境:
java 1.8
hadoop1.1.2
zookeeper3.4.5
采用偽分布模式下eclipse工具進行開發的java project。
org.conan.myhadoop.hdfs
該包下是HDFS類的基本操作。包括文件的創建,復制,刪除, 查看數據,文件重命名,從hdfs下載文件到本地系統等
請參考我的博客:Hadoop-利用java API操作HDFS文件
org.conan.myhadoop.mr
該包下是一個單詞統計的MapReduce任務類。
完成對文件中單詞的統計。
請參看我的博客:Hadoop-MapReduce初步應用-統計單詞個數
org.conan.myhadoop.mr.kpi
該包下是一個web日志的分析的四個MapReduce任務類。
完成對一天中粉絲日志網站的web日志的分析。包括獨立IP統計、資源訪問次數統計、每小時訪問量統計、客戶端類型統計。
請參看我的博客:Hadoop-web日志信息挖掘MapReduce簡單應用
org.conan.myzk
該包下是對zookeeper工具的簡單使用。
需要安裝zookeeper。代碼中使用的是zookeeper3.4.5版本。
請查看我的博客:Zookeeper命令行以及java API簡單使用
source目錄
source目錄內是項目中使用到的資源文件
最后感謝代碼原創作者@bsspirit。
原項目地址:請點擊這里
原項目采用eclipse+Maven構建的。我在原有基礎上沒有使用Maven。使用eclipse構建。
提示:
各位在學習代碼時,需要把代碼中相關的配置信息改成自己對應的配置信息。例如主機地址、端口號等。