Hadoop簡單應用案例,包括MapReduce、單詞統計、HDFS基本操作等

jopen 10年前發布 | 20K 次閱讀 Hadoop 分布式/云計算/大數據

HadoopDemo

Hadoop簡單應用案例,包括MapReduce、單詞統計、HDFS基本操作、web日志分析、Zookeeper基本使用等


運行環境:

java 1.8
hadoop1.1.2
zookeeper3.4.5
采用偽分布模式下eclipse工具進行開發的java project。


org.conan.myhadoop.hdfs

該包下是HDFS類的基本操作。包括文件的創建,復制,刪除, 查看數據,文件重命名,從hdfs下載文件到本地系統等
請參考我的博客:Hadoop-利用java API操作HDFS文件


org.conan.myhadoop.mr

該包下是一個單詞統計的MapReduce任務類。
完成對文件中單詞的統計。
請參看我的博客:Hadoop-MapReduce初步應用-統計單詞個數


org.conan.myhadoop.mr.kpi

該包下是一個web日志的分析的四個MapReduce任務類。
完成對一天中粉絲日志網站的web日志的分析。包括獨立IP統計、資源訪問次數統計、每小時訪問量統計、客戶端類型統計。
請參看我的博客:Hadoop-web日志信息挖掘MapReduce簡單應用


org.conan.myzk

該包下是對zookeeper工具的簡單使用。
需要安裝zookeeper。代碼中使用的是zookeeper3.4.5版本。
請查看我的博客:Zookeeper命令行以及java API簡單使用


source目錄

source目錄內是項目中使用到的資源文件


最后感謝代碼原創作者@bsspirit。
原項目地址:請點擊這里
原項目采用eclipse+Maven構建的。我在原有基礎上沒有使用Maven。使用eclipse構建。

提示:

各位在學習代碼時,需要把代碼中相關的配置信息改成自己對應的配置信息。例如主機地址、端口號等。

項目主頁:http://www.baiduhome.net/lib/view/home/1449196403202

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!