計算無敵!阿里云377秒完成100TB數據排序:秒三星百度
今日,Sort Benchmark 在官方網站公布了 2015 年排序競賽的最終成績。其中,阿里云用不到 7 分鐘(377 秒)就完成了 100TB 的數據排序,打破了 Apache Spark 的紀錄 23.4 分鐘。Sort Benchmark 有全球科技公司“計算奧運會”之稱,更早之前 Hadoop 的記錄是 72 分鐘。
據介紹,Sort Benchmark 的排序競賽包含 4 項比賽,其中 GraySort 和 MinuteSort 主要評測計算系統的規模和效率,是 4 項比賽中含金量最高的兩項。每一項比賽又分通用目的排序(Daytona)和專用目的排序(Indy)兩個類別。阿里云飛天分布式計算系統,在這兩項重量 級比賽中打破了全部 4 項世界紀錄。
GraySort 評測的是超大規模數據量排序的速度,飛天用了 377 秒對 100TB 數據完成排序,也就是說 1 分鐘能夠完成 15.9TB 的數據排序,去年 Apache Spark 成績為 4.35TB/分鐘。MinuteSort 評測的是系統在 1 分鐘內能夠完成排序的數據量,飛天用 1 分鐘完成了對 7.7TB 數據的排序,去年冠軍三星為 3.7TB。
阿里云首席架構師唐洪表示,排序是最基礎的計算問題。100TB 排序,是把 1 萬億條無規律的 100 字節紀錄,嚴格按照從小到大的順序排序,考驗分布式系統中存儲、調度、通信等各個子系統的性能,能夠反映出一個平臺的整體計算能力。GraySort 和 MinuteSort 這兩項比賽,充分證明了阿里云在計算方面的核心能力。
據了解,Sort Benchmark 是一個專門從事排序基準評估的非盈利機構,該機構每年都會舉辦一次國際頂級排序基準評估比賽,被認為是計算界的奧運會。全球頂尖公司和學術機構都會帶著他們最新的研究成果來參加,以評估他們的研究成果。
世界排序大賽官網公布的結果:http://sortbenchmark.org/