分布式計算系統，Onyx 0.8.0 發布

jopen 9年前發布 | 6K 次閱讀 Onyx

Onyx 是什么？

  • Onyx 是一個無中心、支持云、容錯的分布式計算系統

    </li>

  • 使用 Clojure 編寫

    </li>

  • 支持批處理和流處理混合

    </li>

  • 提供信息模型用于描述和構建分布式工作流


    </li>

  • 競爭對手： Storm, Cascading, Map/Reduce, Dryad, Apache Sqoop, 推ter Crane 等等

    </li> </ul>

    用途？

    • 實時的事件流處理

      </li>

    • 連續計算

      </li>

    • ETL

      </li>

    • 在 MapReduce 進行數據轉換

      </li>

    • 數據清理

      </li>

    • 數據攝入和存儲媒介傳輸

      </li> </ul> Onyx 0.8.0 發布，此版本最主要是增加了自動化狀態管理功能，恢復，Windowing 和觸發器。狀態會被記錄在 BookKeeper 日志記錄，segments 可以使用嵌入式 RocksDB 刪除處理。開箱支持多個類型的聚合。

      升級注意事項：

      • Onyx 0.8.0 不兼容之前的版本

        </li> </ul>

        改進列表：

        • Breaking change :onyx.messaging/peer-port-range and :onyx.messaging/peer-ports are deprecated in favour of a single :onyx.messaging/peer-port port. The Aeron layer multiplexed all communication over a single port so multiple port selection is longer required.

          </li>

        • Important change: default task batch timeout was reduced from 1000ms to 50ms.

          </li>

        • New major feature: Windowing and Triggers.

          </li>

        • New feature: Fixed windows

          </li>

        • New feature: Sliding windows

          </li>

        • New feature: Session windows

          </li>

        • New feature: Global windows

          </li>

        • New feature: Timer triggers

          </li>

        • New feature: Segment-based triggers

          </li>

        • New feature: Watermark triggers

          </li>

        • New feature: Percentile Watermark triggers

          </li>

        • New feature: Punctuation triggers

          </li>

        • New feature: Accumulating refinement mode

          </li>

        • New feature: Discarding refinement mode

          </li>

        • New feature: BookKeeper & embedded RocksDB automatic "exactly once" filtering.

          </li>

        • New feature: friendlier error messages. Added custom schema error handlers to print out documentation and required types in a more customized format.

          </li>

        • New flux policy: Recover

          </li>

        • New lifecycle: after-read-batch

          </li>

        • New metric: peer-send-bytes

          </li>

        • Bug fix: fixed an issue where the percentage job scheduler would misallocate.

          </li>

        • Bug fix: fixed :data key being removed from exception messages in the logs.

          </li> </ul>

          詳細改進內容請看發行說明。


           本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
           轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
           本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！
            本文地址：http://www.baiduhome.net/news/view/e26d40