開源大數據工具：Luigi
Luigi 是一個 Python 模塊，可以幫你構建復雜的批量作業管道。它可以處理解決依賴關系，工作流管理，可視化，處理故障，命令行的整合，等等。Luigi 的目的是要解決所有通常與長時間運行的批處理過程相關的管道。長時間運行的東西像Hadoop作業，dumping數據到/從數據庫，運行機器學習算法，或其他任何東西。
本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！