致Cron任務的加載丟失,或者加載多次重復的Cron任務。 大多數基礎服務在數據中心(比如Mesos)加載邏輯任務時都會為這些任務命名,這樣方便了查看任務的狀態,終止任務,或者執行其他的維護操作。解決冪等性的一個合理的解決方案是
Proxy Making Apache Kafka Elastic With Apache Mesos Hands-free Kafka Replication: A lesson in operational
ProgramModel:編程模型 ResManager:資源管理,典型的就是Yarn和Mesos ServiceCoordination:服務發現和服務調度,典型的就是Zookeeper和
Flynn), multi-node orchestration (maestro, salt, mesos, openstack nova), management dashboards (docker-ui
Container 是 Yarn 為了將來作資源隔離而提出的一個框架。這一點應該借鑒了 Mesos 的工作,目前是一個框架,僅僅提供 java 虛擬機內存的隔離 ,hadoop 團隊的設計思路應該后續能支持更多的資源調度和控制
ask提交到對應的worker. Spark支持以下幾種部署模式1)standalone 2)Mesos 3) yarn. 這些部署模式將作為taskscheduler的初始化入參。 RDD接口(RDD
,支持跨主機container netwoking;第三方容器集群調度和服務編織工具蓬勃發展,如 Kubernetes 、 mesos 、 flannel 以及 rancher 等;國內基于Docker的云服 務及產品也 如雨后春
ZooKeeper:解決分布式系統的同步、協作問題(也可能受益于更高抽象層次的組件如helix、curator). Mesos、YARN:解決虛擬化和資源管理問題。 嵌入式的組件Lucene、LevelDB:解決索引問題。
time),但是容器管理平臺的標準至少有三家(Kubernetes、Docker Swarm、Mesos)在做,誰能占上風,目前也沒有一個絕對的,新的產品和技術可能也會冒出來。標準不統一,導致大家在使用過程當中,技術選型的時候會有挑戰。
用于處理多個系統之間的協調,或許會從諸如 Helix 或者 Curator 等高級別的抽象中得到一些幫助。 Mesos 和 YARN 用于處理流程可視化和資源管理。 Lucene 和 LevelDB 等嵌入式類庫做為索引。
Zookeeper處理系統之間的協調的很多問題。 (或許諸如Helix?或Curator等高級別抽象可以有些幫助)。 · Mesos和YARN?處理虛擬化(virtualization)和資源管理。 · Lucene和LevelDB等嵌入式類庫做為索引。
資源管理 Twitter Mesos Google Borg的翻版 第 頁 共 5 頁 密級 機密 WJRJ-000053-1101XQ Hadoop Yarn 類似于Mesos 日志收集系統 Facebook