并行壓縮管理工具 Pcompress

openkk 12年前發布 | 12K 次閱讀壓縮工具

pcompress是一種實用工具，做并行分裂成塊的輸入數據壓縮/解壓縮和重復數據刪除。它具有模塊化結構，包括支持LZMA算法，BZIP2，PPMD等，CRC64塊校驗等多種算法。捆綁LZMA壓縮的SSE優化。它還實現了內容感知的重復數據刪除和塊級增量壓縮功能的基礎上半拉賓指紋圖譜計劃。它具有低的元數據開銷和重疊的I / O和壓縮，以達到最大的并行。它還捆綁了一個簡單的slab分配器，以加快重復類似的塊分配。它可以工作在管道模式，從標準輸入讀取和寫入到 stdout。它還提供了一些自適應壓縮在多種算法，每塊試圖確定在給定塊的最佳模式。