2015年阿里工作與生活回顧

前言

現在已經進入了2016年，這是我從事IT這一行業的第10年。不知道能否稱得上是一個職場老人，但終有種老年人的心態，喜歡回憶過去——最近被初中同學拉入一個初中同學的群里，剛開始兩天讓人激動得不舍得睡去，因為群里的老同學們都聊得火熱，可我竟然在很長一段時間內都沒有敲一個字或者說一句話，只是看著大家互相提起當年的種種糗事。

十幾年前的很多事情雖然還記著，但是更多的卻忘卻了。遠的記不起來，不如回顧下剛剛過去的2015年。。。

御膳房

14年年底至15年1月31日整整2個多月的時間，我們整個大部門突擊開發阿里的大數據商業解決方案——御膳房，大家的工作都很辛苦，加班加點，每個人的身體和意志都經受著不斷地考驗。鑒于保密，我不太方便透露很多，最后產品上線，所有人總算稍稍松了口氣。這個項目后來的節奏稍微變得緩慢一些，但是新需求和功能都在持續的迭代與更新之中。。。

這個項目是我入行以來遇到的最緊急、最復雜、最有強度和參與人數最多的項目（250人左右），從某種角度來說，這也是一種榮譽。雖然苦、雖然累，但是感覺很值得。

瘦身

由于持續2個多月的封閉開發，自我感覺身體狀況有所下降，需要調節，而且體重已經超過173，以前的衣服都不再合身了。為了保持一個健康的體魄，年后就開始在公司提供的跑步機上邊跑步邊瘦身。剛開始的一段時間，每天跑步5公里，中餐和晚餐都有所減少。后來將距離調整為每天10公里，直至15公里。由于跑15公里的時候身體稍有不適，并且出現了血尿，當時也嚇了我自己一跳。所以在網上查閱一些跑步的資料后，每天在跑步之前會先喝一些溫開水，然后將距離降到13公里后，就再也沒有出現不適的癥狀了。從第一天減肥開始，每天都會將當天的跑步距離數、消耗卡路里和時間記錄下來：

可以看到最后我的體重降低到了69.7公斤，體重大致下降了35斤。很多同事最后看到我都很奇怪我是怎么做到的？其實就是堅持（跑步）加控制（飲食）。從5月16日開始我將工作重心轉移到了對Spark的研究上，我將在下面一一道來。

Spark源碼研究

15年1月，我和其它同事一起在杭州開發《御膳房》的時候，我意外得知負責阿里的實時多維分析平臺——Garuda和實時計算平臺——Galaxy的和仲就在我們同一辦公區的同一樓層，于是我找到了他。他是個看起來已經發了福的中年男人，從他的第一句話開始，我就覺得很開心。他將我帶到單獨的一間會議室，花了近一個小時為我耐心講解Galaxy和Garuda的原理，最后還推薦我去研究Spark的源碼。當時的我可以說對Spark一竅不通，聽到和仲的建議，心想：“有時間就抽空研究下吧！”。在春節期間我查閱各種資料才明白Spark原來是用Scala編寫的，可是我也從來沒有接觸過這門語言，只能從網上下了《快學Scala》這本書的電子書，花了大概10天時間讀完整本書，然后見到Scala的語法就不再感到陌生了。Spark是Apache的開源項目，要研究它自然需要得到它的源碼，從Spark官網上找到了它的github地址，然后git clone下來。研究任何系統的原理，最好的方式就是去研究源碼，而研究源碼最不可或缺的方式就是調試，而調試之前你必須做一些準備工作，比如：編譯、打包、部署。雖然Spark本身是一個maven項目，但由于國內對外部一些網站資源的屏蔽，導致一開始并不順利。剛開始的一周時間，我在工作之余就會去嘗試編譯、打包，但是在踩過很多坑之后曾經一度放棄了研究。還有個客觀原因是很多人都推薦IntelliJ ，而我這個老頑固仍然守著Eclipse不放手。有大約一周左右，我沒有再去想Spark，可能是太累，也可能是沒有精力。在一周后的一天早上，我重新打開了Spark的項目進行嘗試，然后很多問題都解決了，后來幾天我編譯通過了。

自從能夠調試Spark的源代碼，日子似乎比一開始要好過多了，你不用再去踩坑，你要做的只是一行一行去調試源碼，進而理解每一段代碼的邏輯意義。事情不可能一直糟糕，但也不可能一直順利，直到一天我無法理解一些怪異的Scala語法，以至于我又陷入重圍。回過頭重新去理解Scala的語法，才知道當時花了10天去理解Scala，并不是看上去的那樣——我掌握了一門新的語言！很多語法的深層次含義我并未理解，甚至為了快速突破Scala而略過它。除了語法上碰到的問題，對于一些能看懂的語法，我卻不知道Spark的原作者為何要這么做？比如為什么要把RDD劃分到不同的Stage中。對于不理解的問題，我查找各種資料，有時候能找到，但有時候你會陷入互聯網的海洋中，你感覺到自己就像是一個機器人爬蟲，永遠都在無盡的網上爬啊爬。。。

有時候自己可以跳出這種漩渦，而有時候是因為耗盡了時間，已經到了凌晨1點，我不得不放棄。事實證明，放棄并不意味著失敗，也不意味著這是一件壞事。當你重新梳理好自己的思路，喝一杯熱茶，曾經的潘多拉魔盒解開了。在程序的世界里，只要你肯研究別人的源碼，你就會不斷陷入新的漩渦。當我解決了一個又一個難題的時候，一個想法從腦海深處油然而生。。。

寫一本書

由于自己解決的問題越來越多，所以寫一本書的想法就這樣誕生了。當我有這個想法的時候，并沒有立刻就去聯系出版社，因為我怕內容質量不高而被出版社拒絕出版。我打算再繼續寫一些內容，并對內容進行進一步的整理和濃縮后再聯系出版社。我首先寫了SparkContext、存儲體系、任務提交與執行以及計算引擎部分的內容，在Spark核心內容只剩部署模式的時候開始聯系出版社的。我已開始聯系的出版社是電子工業出版社，按照網上說的方式給他們發了郵件，但是過了一周都沒有反應的時候，我從《深入理解Java虛擬機》一書的最后宣傳頁中，找到了機械工業出版社的聯系電話。跟出版社的工作人員要到了王福川編輯的郵箱，于是我發了第一份郵件詢問具體的投稿事宜。王編輯在一個小時之內就回復了我，讓我把我的寫作選題、思路及大綱發給他。經過多次的郵件往來，王編輯代表機械工業出版社對我說，他們對我的書很感興趣，愿意合作。按照王編輯和高婧雅編輯的建議，我又擴充了環境準備、Spark設計理念與基本架構、Spark SQL、流式計算、圖計算及機器學習等章節的內容。8月初，我趕往出版社，與兩位編輯面談合作細節并簽訂了出版合同。

9月20日我完成了初稿（總共650多頁），按照出版社的要求對格式作了調整后完成交稿。一直到12月份，出版社和我一起對書稿進行了4次的修改和校正。12月初出版社開始排版。12月中旬出版社開始設計書的封皮。12月下旬交給印刷廠印刷。最終于2016年1月1日出版上市。

起初，這本書的命名為《Spark技術內幕：深入探索Spark架構設計與實現原理》，但由于與同時期要出版的另一本書有命名沖突，于是改名為《深入理解Spark：核心思想與源碼分析》。《深入理解Spark：核心思想與源碼分析》已于16年1月1日出版，有興趣的同學可以看我這篇 《深入理解SPARK：核心思想與源碼分析》（前言及第1章）》 。

學車

由于交了稿，所以打算實現人生中的另個一小夢想——開車。經過多方打聽，得知國內駕校市場的混亂，心生恐懼。身邊很多同事都從東方時尚畢業，而且都很推薦，于是抱著試一試的態度在10月21日報了名。11月3日考了科目一，99分，留了個小遺憾。12月16日考科目二，100分。12月30日科目三90分（自我感覺應該是100），但考官沒說扣分原因。下午的科目四錯了一題，98分，又留個小遺憾。

順便給想要學車的同學們給些信息：東方時尚秉著不拿學員一支煙的理念，不吃拿卡要，絕對可信。大多數教練的態度都很好，有個教練在我開車的時候還給我講歷史，呵呵！在校的學生建議報計時班，自己周一至周五學車，人少車多，一個人一輛車感覺很不錯。如果非要挑出點毛病就是學費略高，但是多掏1000塊錢買個好心情也是值得的。

16年1月9日在神州租了車，開了車去順義、平谷，那里的路很寬、車很少，實在是練車的好地方，別提有多開心！唯一的缺點是當時在一個急彎路沒有看見紅綠燈，闖紅燈了，不過過去這么多天也沒查出來違章，自己提心吊膽了好多天，萬一記6分，以后不敢開車了，否則記滿12分，又得重新來一遍！

總結

從表面上看，2015年很充實，有很多突破和進步。但是瑕疵也很多，只能期盼來年有更多進步！