并行壓縮管理工具 Pcompress 0.8.5 發布

jopen 12年前發布 | 4K 次閱讀 Pcompress

此版本將大大增強核心重復數據刪除邏輯,提高性能,分塊,匹配精度,并實現了一個 K-Min-Values (MinHash) 草圖用于相似性匹配。現在用戶可以選擇增量壓縮程度。添加支持固定塊重復數據刪除。減少內存使用,并已經變得更加切合實際的使用。此還修正幾個錯誤。

pcompress是一種實用工具,做并行分裂成塊的輸入數據壓縮/解壓縮和重復數據刪除。它具有模塊化結構,包括支持LZMA算法,BZIP2,PPMD等,CRC64塊校驗等多種算法。捆綁LZMA壓縮的SSE優化。它還實現了內容感知的重復數據刪除和塊級增量壓縮功能的基礎上半拉賓指紋圖譜計劃。它具有低的元數據開銷和重疊的I / O和壓縮,以達到最大的并行。它還捆綁了一個簡單的slab分配器,以加快重復類似的塊分配。它可以工作在管道模式,從標準輸入讀取和寫入到 stdout。它還提供了一些自適應壓縮在多種算法,每塊試圖確定在給定塊的最佳模式。

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!