雙11剁手幕后的阿里“黑科技”

jopen 9年前發布 | 20K 次閱讀 技術

    2015 天貓雙 11 全球狂歡節拉開帷幕,阿里巴巴的工程師們又忙碌了起來。在力保全球“剁手黨”順暢購物的同時,他們還拿雙 11 來驗證多項開創性技術。阿里巴巴雙 11 技術總指揮劉振飛表示:“雙 11 不僅是一場全球消費者的狂歡,也是對中國互聯網技術體系的實力檢驗。一下子幾千萬人涌進來買買買, 這種真實的商業場景全世界一年也只有一次。阿里技術人能夠用世界級的技術創新,支撐世界級的經濟現象,是非常幸運的。”

雙11剁手幕后的阿里“黑科技”

異地多活:給 1000 公里外的飛機換引擎

去年雙 11,阿里巴巴發布了交易系統“異地雙活”,而今年有了更大的突破:在支付寶這樣高度復雜與嚴謹的金融系統中,實現 1000 公里以上的“異地多活”能力。

“異地多活”已經超越了兩地三中心等傳統災備概念,可實現多地數據中心像一個數據中心一樣工作,即使某一處數據中心出現故障,雙 11 在線業務仍然能夠快速恢復正常運轉。

“數據中心的切換,要在用戶毫無感知的情況下進行,這就像為正在飛行的波音 747 飛機更換引擎。不僅不能影響飛行,飛機上的乘客也不能有感覺”。目前,阿里巴巴支撐雙 11 的多地數據中心,最遠距離已超過 1000 公里,這就意味著阿里巴巴具備了在全國任意節點部署系統的能力。

公開資料顯示,全球能夠做到異地多活技術的只有少數幾家互聯網巨頭,如 Google、非死book。但二者的搜索、社交場景對數據同步性的要求遠不如交易、支付場景苛刻,“如果你賬戶里的錢無緣無故地多一個 0 或少一個0,后果都很嚴重。”

同時,阿里巴巴正在將這一過程中積累的技術逐步開放。比如,可以在較長延時的情況下解決多點數據同步的技術,已經通過阿里云數據傳輸產品(Data Transmission)對外開放,能夠讓云用戶輕松實現遠距離、毫秒級異步數據傳輸。

OceanBase: 雙 11 背后的中國自研數據庫

今年雙 11 的核心交易流量,將 100% 由金融級海量數據庫 OceanBase 承載。OceanBase 由阿里巴巴自主研發,是中國首個具有自主知識產權的數據庫,也是全球首個應用在金融業務的分布式關系數據庫。

OceanBase 2010 年誕生,2014 年支撐了 10% 的雙 11 交易流量。今年 6 月,網商銀行開業,底層數據庫全部采用 OceanBase。與傳統數據庫相比,OceanBase 的系統維護,不需要昂貴的共享存儲設備和高性能服務器,還能節省數據庫軟件的許可費,和常用的商業數據庫相比,成本不到其一半。同時,分布式的系統,可以 更好地應對雙 11 這類大流量沖擊:彈性能力可保證大促之前完成一鍵擴容、大促之后實現一鍵縮容。同樣,OceanBase 也計劃于明年通過阿里云的公共云計算平臺對外界開放。

一鍵建站:90 分鐘再造淘寶天貓

每年雙 11,為了應對巨大的流量沖擊,阿里都需要新建淘寶和天貓的交易單元,與原有的系統一起“協同作戰”,以便分散流量,減輕系統負擔。以往,重新部署一套交 易單元至少需要提前 1 個月的時間準備。今年雙 11,由于采用了“一鍵建站”的技術,使得這項費時費力的巨大工程,得以在 90 分鐘之內自動化完成。

一鍵建站,是指在基礎設施具備的條件下,通過阿里自研的自動化軟件,將中間件、數據庫、商品交易系統、商品展示系統等上百個電商核心系統,像搭積木一樣部署完成。整個過程一鍵完成,基本無需人工干預,所需時間不到 90 分鐘。

計算能力輸出:商家可日處理 400 萬訂單

今年,阿里云將繼續通過聚石塔向雙 11 商家輸送充足的計算能力。搭建在阿里云平臺上的聚石塔,今年預計將處理 99% 以上的雙 11 訂單,可支持單個天貓商家日處理訂單超過 400 萬單。

2012 年開始,聚石塔以阿里云為基礎推出一整套的解決方案,為天貓、淘寶平臺上的服務商及商家服務。聚石塔部署在阿里云的遠程數據中心中,安全條件、穩定性、性能遠超過商家的辦公環境和傳統 IDC,針對設備故障,斷網斷電等均有應急預案。

在傳統模式下,商家做促銷時要進行服務器擴容,小賣家要去電腦城買幾臺機器扛回家,大賣家則需要臨時尋找 IDC 資源,在應對了促銷節點之后,業務量回落,服務器又會閑置無用,造成了很大浪費。通過聚石塔,商家可隨時線上擴充服務器資源,想用幾天就用幾天,用后再縮 回去,低碳環保又省錢。

2014 年,聚石塔處理了 96% 的雙 11 訂單,無一故障、無一漏單。2015 年,通過云計算系統的優化,中間件能力的使用,服務商應用系統整體性能比之前提升 62%,能支持單個商家每天 400 萬以上的訂單處理能力。

金融云架構:日支付處理能力達 10 億筆

據介紹,目前支付寶在技術上已全面升級到金融云架構,可以支持每日十億筆以上的支付處理能力,并且具備了金融級的“異地多活”容災能力。

跟支付寶有合作的 200 多家銀行,一直是雙 11 支付保障的主力軍。今年各家銀行的系統容量在去年雙 11 的基礎上擴大了一倍。從 8 月份開始,各家銀行就逐步對擴容后的系統進行仿實戰的高強度壓力測試。壓測覆蓋了用戶從開始購物到創建交易、訪問收銀臺到最終完成支付的整個鏈路,確保包 含基礎設施、業務系統和銀行渠道在內的整個系統可以穩定支撐雙 11 的驚人支付洪峰。

ODPS:數據狂歡背后的超強計算引擎

“整個天貓雙 11,你看到的一切,幾乎都是由算法決定的。”在數據科學家們看來,雙 11 是無數個“0 和1”、成千上萬套算法的疊加。這是一場機器和數學公式主導的全球購物狂歡。今年雙 11,無線端的交易將占主導地位。如何利用阿里巴巴存儲的數百 PB 數據,在狹小的手機屏幕為用戶創造更智能化的購物體驗?這一切都將通過阿里云自主研發的大數據處理平臺 ODPS 來計算。

今年雙 11,淘寶、天貓、支付寶、菜鳥等所有大數據處理工作,都將由阿里云 ODPS 來完成。在剛剛結束的 2015 世界 Sort Benchmark 排序比賽中,阿里云 ODPS 用 377 秒完成了 100TB 的數據排序,打破了此前 Apache Spark 創造的 1406 秒紀錄,一舉創造 4 項世界紀錄。

此外,ODPS 的實時計算系統 StreamSQL,雙 11 當天預計日消息處理量將達上萬億條。而這一能力,正在通過阿里云逐步開放出來。通過 ODPS 的大數據和實時計算能力,淘寶天貓正在進行這樣的嘗試:讓商家可以根據消費者的實時位置推薦商品。比如,當外地游客在逛西湖時,不妨推薦一些杭州特產。

dataV:實時觸摸數據世界的脈搏

在阿里巴巴每天海量的交易面前,如何精準把握由數據脈搏帶來的趨勢也成為極大的挑戰。對此,阿里巴巴研發了 dataV 數據可視化引擎,該引擎完全基于 Web 技術 ,可快速、低成本的部署。用于內部的商品、交易、支付、數據中心等的可視化呈現和管理,幫助實現更精準的調控。

自 2013 年起,雙 11 交易數據大屏成為對外直播狂歡節的重要窗口,而在 2015 年的全球狂歡節上,這一巨型數據大屏還將移植到水立方,以實時動態可視圖的方式向全球用戶直播雙 11 的數據魅力。

據悉,水立方數據大屏上,該數據可視化引擎既可以利用 3D webgl 技術從宏觀角度展示雙十一平臺總體交易訂單實時流向的全量展示,也可以通過便捷的交互手段,深入到城市級別進行微觀的人群畫像分析。目前,這一技術已計劃 通過阿里云向外輸出,很快將會有標準化產品推出。

全站 Https 加密保全球用戶訪問安全

雙 11 已經成為全球的節日,如果非洲的朋友想買個中國產的馬桶,他的體驗會是如何呢?

為提供更安全快速的訪問體驗,阿里云今年在全球部署 CDN 的國家和地區增加到 30 多個,覆蓋除南極洲外的六大洲,可從容應對越來越多的海外用戶同時訪問。在國內,阿里云擁有近 500 個 CDN 節點,帶寬服務能力超 10Tbps,實現毫秒級響應。

不僅要快,還要安全,阿里云 CDN 為保障此次雙 11 狂歡節,幫助淘寶、天貓、聚劃算等阿里電商平臺全面實現了 HTTPS 加密訪問,能有效防止資源被劫持,使用戶端與服務器之間收發的信息傳輸更加安全。據悉,這也是全球首家大型電商網站實現全站 Https 加密訪問。

精準識別流量是用戶還是黑客攻擊

遇到雙十一類似的重大促銷節點,不少電商平臺流量激增。此時此刻,如何分辨哪些是正常流量,哪些是黑客借機惡意攻擊搗亂,過去一直是個老大難。

今年雙十一期間,阿里云安全團隊通過數據模型實現了 DDoS 的檢測。當流量來襲,在進行安全防御之前,系統通過好人行為模型,惡意 IP 地址比對等技術手段,完成了對流量成分的分析,并最終實現了每次大促不放過一個黑客攻擊,更不讓一個用戶正常訪問受阻的愿景。

細心的淘寶用戶可能已經發現,今年雙十一省略了繁瑣的驗證碼輸入,買買買的體驗更順滑了。這背后就是阿里云安全團隊反欺詐產品的“功勞”。

過去,設置手動輸入驗證碼主要是為了幫助系統識別正在交易的究竟是用戶還是機器。隨著反欺詐產品通過數據模型從用戶敲擊鍵盤、滑動鼠標、點擊瀏覽頁面等行為中計算分析出電腦前的究竟是真實的用戶還是一臺機器,驗證碼終將逐漸完成使命,退出風控防御的歷史舞臺。

目前,阿里云安全團隊為雙十一護航的各項能力已通過安全品牌云盾對外輸出。

手機淘寶 1 秒打開  

為了讓今年雙 11 消費者始終能保持飛一般的體驗,手機淘寶搭建了一個世界級無線云平臺,能夠同時服務億級用戶,并實現了一系列技術優化:內存節省 50%,滑動提速 20%,1 秒打開手淘頁面。除此之外,雙 11 會場全面個性化,讓消費者在手機屏幕上也能輕松到自己喜歡的寶貝。

此外,手淘的攻城獅們還建立了 2G 網絡實驗室,通過不斷模擬測試,實現 2G 弱網環境下的手機也能實現 1 秒建立連接,讓沒有智能手機和高速網絡的消費者,也能擁有更流暢的購物體驗。

來自: CSDN
 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!