手機淘寶推薦中的排序學習
周梁:淘寶推薦機器學習技術專家,中國科學院自動化研究所機器學習博士,主要研究工作方向是機器學習、大規模并行算法優化。先后從事過廣告CTR預估,MPI機器學習平臺搭建,手淘個性化推薦等多方面工作。
排序學習是推薦、搜索、廣告的核心問題。在手機淘寶的推薦場景中,受制于展示空間的限制,排序學習顯得尤為重要。在淘寶,如何從十億的商品中,挑選出用戶 今天喜歡的商品,也是個巨大的挑戰。 本次我們分享排序學習在手機淘寶中的應用,其中包括:解決了哪些問題,遇到了哪些挑戰,以及做了哪些改進。
手淘推薦介紹
圖1手淘推薦業務全覆蓋
用戶提升體驗,千人千面;商家提供流量,提升轉換;平臺引導行為,流量分配。
圖2手淘推薦系統
Match:基于內容,行為的推薦。場景,社交,人群,個人的長期興趣,短期行為。
圖3排序學習的原因
排序學習分類:PointWise:
PairWise:
ListWise:直接優化整個集合序列,不再做Transform,優化目標NDCG.
業務實例
圖4店鋪內推薦業務
業務:只可以推薦同店鋪商品,可以是相似搭配。目標:CTR.方法:PointWise。
圖5模型
樣本構造:
模型目標:預測<user,item> ctr,并按照ctr排序。
手機埋點的困難:曝光,點擊收集,Native 版本,H5 版本。
正負樣本處理:
1. 點擊/曝光PV
2. (點擊 + 折算成交)/曝光PV
3. (點擊 + 折算的成交)/(有效點擊以上PV截斷)
4. (點擊 + 折算的成交)/(泊松采樣的虛擬PV)
特征設計
ID類特征,User、Item 、Context基本特征,移動特定場景相關特征:設備ID VS 用戶ID;城市區域特征;手機型號特征,PC & Mobile 特征融合。
每個特征權重反映該特征在數據中的統計意義,方便進行特征組合和模型debug,比較方便引入在線學習。
特征工程
圖6年齡匹配