重復數據刪除引擎 Duke 0.6 發布
這次發布增加新的comparators, 新的cleaners, 一些bug修復，Lucene 更新至 3.6.1和配置方面一些改進。
下圖是 Duke 的架構：
Duke 是一個基于 Lucene 開發，快速靈活的去除重復數據的引擎，可以在 11 分鐘內處理完 1,000,000 萬條記錄。Duke可以從命令行運行，但還提供API。它還支持從 CSV, JDBC, SPARQL, 和 NTriples讀取數據。
本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！