述說我的Hadoop成長路線

Hadoop啟蒙

還在實驗室時，老師就建議看google關于大數據的三篇論文，啃了好長時間還是沒完全理解。也動手搭建了Hadoop集群，運行了wordcount，帶著“Hadoop會火“的指示離開了實驗室。

Hadoop入門

2011年初我加入了一個互聯網流量分析運營項目，開始真正實戰Hadoop,編寫mapreduce程序。項目主要是對用戶瀏覽的url進行分析，挖掘用戶的上網行為偏好，進行精準營銷。整個項目應用到hadoop的地方只有兩個，就是對url進行去重和排序。這個項目持續了一年多，大部分的時間我還是在實現業務邏輯。

此時“大數據的概念”在國內慢慢熱起來了，使我更堅信了”hadoop值得依賴”。

1.我把當時中文論壇關于Hadoop相關的技術貼都過了一遍。
2.精讀了Pro Hadoop 一書。
3.蹲點百度知道好一陣子，專挑Hadoop帖子回答，賺了不少積分。
4.在計算機科學雜志上發表了一篇關于mr優化的文章。

這一年多的積累讓我真正在Hadoop這個領域入門了。

Hadoop平臺初建

2012年國內大規模使用Hadoop的公司還不算多，我知道自己此時最需要的是一個平臺，更專注的去做一些事情。并不是每個人都那么幸運，而我很幸運的在那時加入現在的公司，很幸運的跟到了一個好leader。又碰巧公司在這個時候需要重新規劃一個更大且開放Hadoop集群(150節點)，很幸運的這個事情是交由我來負責。

7月-8月：調研安全開放的Hadoop集群方案
9月：制定開放流程、用戶手冊，使用規范，集群機房遷移
10月份：集群正式對外開放運營

在Hadoop開放的頭一個月里,我開始接觸平臺用戶，和大伙慢慢熟悉起來，大伙遇到Hadoop的問題都會先來問我，把我當成了”Hadoop專家”。其實在那之前，積累的個人實戰經驗還是比較匱乏的。懂得就回答，不懂的我就查閱資料，跟蹤源碼，也許就是這種”羅森塔爾效應”，讓我的Hadoop 技術得到快速的成長。

Hadoop平臺運營

在2013年的Hadoop平臺運營過程中：

懂得了用戶是需要引導，培訓的；
懂得了流程規范有時候可以繞開技術難題；
懂得了監控報警多多益善；
懂得了技術也是需要運營；
學會了培養用戶信任感；
學會透過用戶的描述找到真正的需求；
學會了用計算投入產出比來做決策；
學會了對用戶只講困難不做拒絕；
了解了每個人做事的風格特點。

方法論

2014年我們將Hadoop平臺的成功經驗借鑒到日志系統、Storm集群、kafka集群、Spark集群、統一監控系統、Hbase集群。讓我體會到了很多道理都是相通的，確實是有方法可以總結的，我們需要進行階段性的自我思考和總結，搭建維護一套屬于自己的方法論。

技術分享

技術分享一方面是為了分享經驗，另一方面也是促使自我思考，總結，加深理解。

2012年7月份我第一次參加easyhadoop講座,聽大師們的分享，我內心就自我暗示，需要跟他們交流，需要加入這個組織。

9月份我將兩個多月的研究成果總結成一個主題在easyhadoop另一次講座上給大家做了分享，這是我職業生涯的第一次對外分享。

之后一有新的研究成果我都會找機會參加講座進行分享，結識業界的牛人并進行交流。

這兩年大大小小的主題也分享了10余次，每次分享的主題基本都不一樣，沉淀了不少知識，也培養了我的結構性思維。

鼓勵大家在自己的領域尋找一個可以交流的組織，有機會就去分享，犯錯是成長最快的方式。

鳴謝

總結這幾年，運氣一直很好，在恰當的時候做了對的事情，讓我成長了技術，也積累了許多技術之外的寶貴經驗。

感謝tuboo這些年帶我升級打怪，感謝小伙伴們杰出的成果讓我在外面能有牛逼可以吹，感謝老婆對我經常熬夜加班的諒解！這一路來要感恩的人和事太多了！

End

來自：http://www.36dsj.com/archives/24093