聊兩句工作體會：大數據和推薦系統

昨天跟我們團隊的一個新人聊工作。新人進入團隊有快一年了，個人努力、做事麻利、性格活潑，我一直想給他更大的機會、承擔更加獨立、重要的工作，讓他能夠盡快成長起來，獨當一面。所以在詢問他現在工作進度以后，結合他工作現狀，聊了我個人對大數據和推薦系統的一點感悟。后來想，不如就放在這里，讓大家都看到，包括我團隊的其他人，也省的我一遍又一遍的在不同場合說。

1. 大數據和推薦系統在實際工業產品中的定位

一句話，絕大部分是錦上添花的作用，而不是關鍵、核心的作用。

這和我們的直覺相悖。大數據現在很火，網上輿論基本的調調就是：現在互聯網上面有用戶大量的行為數據，同時我們又有了大規模并行處理框架，再結合特定的算法，就能夠從中挖掘出“智慧”。這個智慧貌似無所不能，從電影訂票訂座、到預測流感流行、到防止恐怖襲擊。我想說：哥們兒醒醒，別大白天做夢了。電影票訂票訂座是可以個性化的，不過這依托于電影和電影院；流感流行也是可以預測的，不過這依托于很多人都會患上流感這一事實；恐怖襲擊，這是偶然事件，大數據不適合處理這種偶然、突發的事件。

大數據和個性化推薦如果發生作用，一定是依賴于某種產品，而這種產品一定是瞄準了用戶的某個需求，只有這樣，大數據才有機會在原有的產品基礎上給用戶進行增值。產品就像是一個人，而大數據和推薦系統就像是這個人身上的一件漂亮衣服，能讓這個人顯得更有品味、更帥（或者更美）。如果人本身很丑，或者干脆完全拋開人、光看衣服，衣服再漂亮也是沒有意義的。

很多人可能會反對。例如：亞馬遜，通過個性化推薦，就提升了xxx營業額，大數據和個性化不是很有用么？是很有用。不過如果亞馬遜網站的流量很少、或者亞馬遜本身貨物很少、物流很差，大數據和個性化還能發揮出這個作用么？——自己長的丑，穿的衣服再漂亮，也給自己提供不了多大的增值。相反，自身過硬的話，即便不加修飾，也可以讓人刮目相看——你看人家某東，推薦算法貌似也挺爛的，不過也不能阻擋人家是電商巨頭。

2. 大數據和推薦系統的作用發揮，很依賴與產品定位和產品形態

說上一點的時候，貌似已經把這一點說了。這里就再補充一個事實吧：在實際推薦系統中，產品形態的改進、或者交交互形態的改進、或者界面樣式的改進，其實際的影響作用，往往都不亞于推薦算法的改進。所以，在做大數據和推薦的時候，一定要跳出算法的桎梏，從整個產品方面來看，多和產品經理去溝通，這樣才有可能發揮出大數據最大的價值。

3. 大數據和推薦系統，數據的作用大于算法的作用

剛做大數據的員工，往往想到的名詞就是“用戶畫像”；剛做推薦系統的員工，往往張口閉口就是“協同過濾”。且慢，在談“用戶畫像”之前，是不是先考慮畫出來之后要怎么用啊？在說“協同過濾”的時候，是不是考慮下要協同用戶的什么東西啊？每個企業不一樣，每個企業能獲取的用戶數據不一樣，所以在談具體方法之前，先看看手上有什么資源。往往是，手上的資源以及項目的目的決定了要采用的方法，而不是反過來。那些反過來想的，我覺得是學術界的思維——他們從來就沒有為了數據而發過愁（學術界的實驗性的、小規模的數據還是很多的）。

4. 詠春拳？還是八卦掌？

做推薦系統，要提升用戶點擊率，新人的做法往往想是找一本書，把書上所有算法都嘗試一遍，然后回過頭告訴我：老板，我嘗試了所有的方法，就當前這個效果最好，這件事我做完了。

這個樣子是不對的。

說不對，關鍵點在于：這個新人對實際所在的問題、需求，缺乏理解。首先，還是從前說的，要跳出算法的桎梏，要從產品本身的定位、用戶的需求來考慮，推薦系統到底在這個產品里面扮演怎樣的作用？是提升點擊率，還是提升賺錢的流水，亦或是提升用戶的留存率？再者，要從手上的數據來考慮，如何完成產品的預期：有的數據能夠準確地刻畫用戶某一方面，不過很難獲得；有的數據雖然比較粗糙，但是獲取容易；有的數據使用要結合某種先決條件，只有在這種條件下，這個數據才能用。第三，要考慮如何定期的有產出成果——我們這是在企業，在企業工作就是為了給企業創造價值，如果一個東西很有價值，但是做出來需要一年的時間，成功的幾率只有50%，那么我們寧可做另一個價值只有70%，但是只需要三個月的時間，成功幾率有80%的事情。這么說的有點理想化、絕對化了。不過實際情況是，我們不是“平行的”、或者“并列的”再嘗試N種方法，而是做出一點兒嘗試，取得一個階段性成果，再在這個基礎之上進行下一步嘗試，去的下一個階段性成果......直到最終達到一個比較理想的效果。這一步步走來，就像打拳的套路，有先有后，步步為營，承上啟下，而又拳拳帶血（出成果）。至于打的是詠春拳，還是八卦掌，每個人有每個人的套路。我覺得，這也是我們這些人的核心價值所在——如果都是把教科書上的方法嘗試一遍就能交差，那還要什么經驗積累，剛畢業的同學、甚至只要是會編程、能有高等數學基礎的同學，就都能做的很好。

5. 即便是錦上添花的作用，也還是能夠做的驚艷的、進一步成為核心的

既然是錦上添花的，怎么又成為核心的了？自相矛盾么？！

我這么說的前提是，現在的互聯網是一片“紅海”，大家都有錢、有人，做的項目都不差。當某個產品，基本功能滿足了的時候，其競爭力就看那些差異化的功能、或者是內容了。而大數據挖掘、個性化，天生就是為了差異化服務的。所以，在這個時候，如何能讓產品勝出，可能還真要靠大數據和個性化了。

啰啰嗦嗦說了這么多，不是我的風格啊。

完。