計算無敵!阿里云377秒完成100TB數據排序:秒三星百度

jopen 9年前發布 | 6K 次閱讀 阿里云

今日,Sort Benchmark 在官方網站公布了 2015 年排序競賽的最終成績。其中,阿里云用不到 7 分鐘(377 秒)就完成了 100TB 的數據排序,打破了 Apache Spark 的紀錄 23.4 分鐘。Sort Benchmark 有全球科技公司“計算奧運會”之稱,更早之前 Hadoop 的記錄是 72 分鐘。

據介紹,Sort Benchmark 的排序競賽包含 4 項比賽,其中 GraySort 和 MinuteSort 主要評測計算系統的規模和效率,是 4 項比賽中含金量最高的兩項。每一項比賽又分通用目的排序(Daytona)和專用目的排序(Indy)兩個類別。阿里云飛天分布式計算系統,在這兩項重量 級比賽中打破了全部 4 項世界紀錄。

GraySort 評測的是超大規模數據量排序的速度,飛天用了 377 秒對 100TB 數據完成排序,也就是說 1 分鐘能夠完成 15.9TB 的數據排序,去年 Apache Spark 成績為 4.35TB/分鐘。MinuteSort 評測的是系統在 1 分鐘內能夠完成排序的數據量,飛天用 1 分鐘完成了對 7.7TB 數據的排序,去年冠軍三星為 3.7TB。

阿里云首席架構師唐洪表示,排序是最基礎的計算問題。100TB 排序,是把 1 萬億條無規律的 100 字節紀錄,嚴格按照從小到大的順序排序,考驗分布式系統中存儲、調度、通信等各個子系統的性能,能夠反映出一個平臺的整體計算能力。GraySort 和 MinuteSort 這兩項比賽,充分證明了阿里云在計算方面的核心能力。

據了解,Sort Benchmark 是一個專門從事排序基準評估的非盈利機構,該機構每年都會舉辦一次國際頂級排序基準評估比賽,被認為是計算界的奧運會。全球頂尖公司和學術機構都會帶著他們最新的研究成果來參加,以評估他們的研究成果。

世界排序大賽官網公布的結果:http://sortbenchmark.org/

計算無敵!阿里云377秒完成100TB數據排序:秒三星百度

計算無敵!阿里云377秒完成100TB數據排序:秒三星百度

來自: 驅動之家
 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!