擊敗Java排序算法

ygp8 9年前發布 | 17K 次閱讀 算法 Java開發

Java 8 對自帶的排序算法進行了很好的優化。對于整形和其他的基本類型, Arrays.sort() 綜合利用了雙樞軸快速排序、歸并排序和啟發式插入排序。這個算法是很強大的,可以在很多情況下通用。針對大規模的數組還支持更多變種。我拿自己倉促寫的排序算法跟Java自帶的算法進行了對比,看看能不能一較高下。這些實驗包含了對特殊情況的處理。

首先,我編寫了一個經典的快速排序算法。這個算法通過計算樣本的平均值來估計整個數組的中心點,然后用作初始樞軸。

我借鑒了一些Java的思路來適當改進我的快速排序,修改后的算法在對小數組進行排序的時候直接調用了插入排序。在這種情況下,我的排序算法和Java的排序算法可以達到相同的運行時間量級。Wild & al 指出,如果排序數組有很多的重復數據,標準的快速排序會比雙樞軸的快速排序要快。我沒有嘗試任何字節或匯編級別的分析和優化。在大部分的問題中,我的版本的優化程序都遠遠不能跟Java系統程序相提并論。

我一直都想測試腦海里的一個簡單的排序算法,我稱之為Bleedsort。這是一個分布式算法,它通過樣本抽樣方法對要排序的數組進行分布估計,根據估計結果把數據分配到相應的一個臨時的數組里(如圖 1 所示),并重寫這個初始的數組。這是一個預處理過程,然后再應用其他的排序算法分別進行排序。在我的測試中,我使用了我編寫的快速排序版本。如果使用合并排序應該會有更好的結果,因為合并排序被廣泛應用在高度結構化的數組中。為了計算簡單,我只測試了分布均勻的數據。

Bleedsort在遇到相同的數據的時候都會放到右邊,所以此算法在排序相對一致(譯者注:會有很多重復數據)的數組的時候表現很差。所以我需要對排序的數組進行樣本估計,當重復數很多的情況下應避免使用Bleedsort算法。

我很清楚,Bleedsort算法在內存空間使用方面沒辦法跟歸并排序(快速排序)相提并論,臨時數組也比原來的數組要大四倍左右。同時其他的一些分布排序算法,比如Flashsort,在這方面也表現得要好很多。

 擊敗Java排序算法

1 Bleedsort舉例說明

我運用JMH來作為測試基準。為了簡單起見,我就用整形數組進行測試。在1000.000 到10.000.0000 數量級的均勻分布的數組中,我的算法表現的最好。盡管我寫的快速排序算法在一定程度上比不過Java自帶的算法,但是我的預處理過程很好的彌補了這些不足(調用了我的快速排序的Bleedsort 87ms vs Java 自帶算法105ms; 938ms vs 1.144s)

Benchmark Mode Cnt Score Error Units Corrected

MyBenchmark._1e6U sample 8512 0.024 ± 0.001 s/op

MyBenchmark._1e7U sample 985 0.236 ± 0.001 s/op

我生成了下面這些正確的基準數組

MyBench.int1e6UQuickSort sample 1641 0.131 ± 0.001 s/op 0.107 ± 0.002

MyBench.int1e6UBleedSort sample 2410 0.087 ± 0.001 s/op 0.063 ± 0.002

MyBench.int1e6UJavaSort sample 1978 0.105 ± 0.001 s/op 0.081 ± 0.002

MyBench.int1e7UQuickSort sample 200 1.483 ± 0.014 s/op 1.459 ± 0.015

MyBench.int1e7UBleedSort sample 373 0.938 ± 0.009 s/op 0.914 ± 0.010

MyBench.int1e7UJavaSort sample 200 1.144 ± 0.009 s/op 1.120 ± 0.010

所以,我的這個沒有特殊優化的算法程序在這些數據集上要比Java自帶算法快大概 10-15% 。

在1000.000數據級,包含 10% 或者 1% 的隨機重復數據的均勻增加數據集上,我的算法表現的也不差。

Benchmark Mode Cnt Score Error Units Corrected

._1e6Iwf010 sample 20705 9.701 ± 0.033 ms/op

._1e6Iwf001 sample 148693 1.344 ± 0.003 ms/op

生成正確的基準數組

.int1e6Iw010BleedSort sample 4159 49.377 ± 0.571 ms/op 39.68 ± 0.60

.int1e6Iw010JavaSort sample 3937 52.139 ± 0.229 ms/op 42.44 ± 0.25

.int1e6Iw010QuickSort sample 3899 52.457 ± 0.210 ms/op 42.76 ± 0.23

10% 重復數據

.int1e6Iw001BleedSort sample 6190 32.821 ± 0.219 ms/op 31.48 ± 0.22

.int1e6Iw001JavaSort sample 8113 24.910 ± 0.079 ms/op 23.57 ± 0.08

.int1e6Iw001QuickSort sample 8653 23.367 ± 0.056 ms/op 22.02 ± 0.06

^^ 1%

但是,這個算法在只有10.000左右的小二項分布的數據集 (~bin(100,0.5))(譯者加:考慮到括號里面是公式代碼,并沒有修改內部英文括號符號成中文符號)上表現的很差。 在這些數組中,平均下來,出現50這個數字的次數是795.5,而出現40組重復數組的次數是108.4。

同時,在排序1000.0000量級的大數組的時候,這個算法要比 Arrays.sort() 慢兩倍左右。這些數組都有很多的重復數據(比如有的大小為1e6的數組里只有450個不同的數值)。

Benchmark Mode Cnt Score Error Units Corrected

._1e4bin100 sample 152004 1.316 ± 0.001 ms/op

^^ for correction

.int1e4bin100BleedSort sample 148681 1.345 ± 0.001 ms/op 0.029 ± 0.002

.int1e4bin100JavaSort sample 150864 1.326 ± 0.001 ms/op 0.010 ± 0.002

.int1e4bin100QuickSort sample 146852 1.362 ± 0.001 ms/op 0.046 ± 0.002

.int1e6bin1e4BleedSort sample 75344 2.654 ± 0.005 ms/op -

.int1e6bin1e4JavaSort sample 146801 1.361 ± 0.002 ms/op -

.int1e6bin1e4QuickSort sample 76467 2.615 ± 0.005 ms/op -

在排序小型的(10.000, 100.000)均勻隨機數組下,這個算法表現尚可,但是并不比系統算法更好。

MyBench.int1e4UBleedSort sample 216492 0.924 ± 0.001 ms/op 0.683 ± 0.002

MyBench.int1e4UJavaSort sample 253489 0.789 ± 0.001 ms/op 0.548 ± 0.002

MyBench.int1e4UQuickSort sample 217394 0.920 ± 0.001 ms/op 0.679 ± 0.002

MyBench.int1e5UBleedSort sample 18752 0.011 ± 0.001 s/op 0.009 ± 0.002

MyBench.int1e5UJavaSort sample 22335 0.009 ± 0.001 s/op 0.007 ± 0.002

MyBench.int1e5UQuickSort sample 18748 0.011 ± 0.001 s/op 0.009 ± 0.002

總而言之,在內存不是很緊張的情況下,針對適當的大數據集,我會建議把分布搜索算法做為一個有效的補充選項。

最后,讓大家來認識一下二項分布的一些數據集 bin(100, 0.5) 和 bin(1000, 0.5),

這里是兩個隨機抽樣了100個數據的數據集(使用R語言生成)。

> rbinom(100, 100, 0.5)

[1] 43 49 51 47 49 59 40 46 46 51 50 49 49 45 50 51 50 49 53 52 45 53 48 56 45

[26] 47 55 47 53 53 56 41 47 42 51 51 46 49 49 52 46 48 49 50 48 56 54 49 53 52

[51] 54 48 45 45 50 48 54 49 52 50 48 48 49 45 54 54 50 41 53 45 51 48 53 52 52

[76] 50 53 47 55 47 60 54 52 56 45 46 54 46 38 43 53 45 62 48 52 52 52 49 52 56

> rbinom(100, 1000, 0.5)

[1] 515 481 523 519 524 516 498 473 523 514 483 496 458 506 507 491 514 489

[19] 475 489 485 507 486 523 521 492 502 500 503 501 504 482 518 506 498 525

[37] 498 491 492 479 506 499 505 497 510 479 504 510 485 488 495 519 522 490

[55] 517 511 511 488 519 508 475 521 505 493 480 498 490 492 492 476 490 506

[73] 496 505 521 518 506 509 477 483 509 493 497 501 483 502 470 515 519 509

[91] 510 496 477 508 506 481 490 511 498 476
原文鏈接: pvto.github.io 翻譯: ImportNew.com - 小P愛旅行
譯文鏈接: http://www.importnew.com/16615.html
 

 本文由用戶 ygp8 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!