• Spark:比Hadoop更強大的分布式數據計算項目 經驗

    進行多次迭代,來支持復雜的數據挖掘算法和圖計算 算法。 Spark使用Scala開發,使用Mesos作為底層的調度框架,可以和hadoop和Ec2緊密集成,直接讀取hdfs或S3的文件進行計算并把

    jopen 2014-12-03   46280   0

    MapR發布新版Hadoop 支持跨數據中心復制 資訊

    這種軟件目前還在早期研發階段,它將把Hadoop YARN集群資源管理器,任務調度程序和新興管理框架Apache Mesos結合起來,Mesos能夠使多種工作負載在一個數據中心里同時運行。Myriad項目是由MapR、eBay和Mesosphere合作完成

    jopen 2015-03-09   4930   0
    Hadoop  

    基于 Docker 1.12 Swarm 的集群管理開發實踐 經驗

    Mesos/Marathon 折騰久了,我們一直希望有機會深入到 Swarm 內部一探究竟。 另外,?Mesos 這一套東西雖然是久經企業級考驗的, 但是安裝、部署和使用相對復雜,上手有門檻。同時,在今年的

    KarrySpearm 2016-09-08   11333   0

    Docker監控怎么做? 經驗

    通過kubedash進行展示,界面如下: Mesos的監控方案 而Mesos提供一個mesos-exporter工具,用于導出mesos集群的監控數據prometheus,而prometheus是個集

    sakai 2016-08-19   20225   0

    DockOne技術分享:OpenStack Magnum社區及項目介紹 資訊

    第二步就可以在第一步創建的baymodel基礎上創建bay了,用戶可以選擇使用Kubernetes或者Swarm,未來還會有Mesos。 第三步,當bay創建完成后,用戶就可以通過調用Magnum API和后臺的k8s或者swarm交互來創建container了

    jopen 2015-06-17   20888   0
    DockOne  

    Spark,一種快速數據分析替代方案 經驗

    是為了支持分布式數據集上的迭代作業,但是實際上它是對 Hadoop 的補充,可以在 Hadoo 文件系統中并行運行。通過名為 Mesos 的第三方集群框架可以支持此行為。Spark 由加州大學伯克利分校 AMP 實驗室 (Algorithms

    fmms 2012-01-05   77287   0

    愛奇藝基于 Docker 的 App Engine 實踐 經驗

    為什么要從虛機到基于Docker的這種轉變的話,我們從最早的時候是13年底開始接觸Mesos,我們有非常強的mesos的背景,我們首先考慮的是從資源效率的方面考慮的,所以最早的時候想要實現一個App

    hp4471 2016-07-20   54731   0

    Docker周報:現代化的分布式應用正成為主流 資訊

    《通過Docker來部署Mesos集群》 :本文介紹了如何使用Docker來啟動Mesos集群,非常簡單,只需要7個命令即可,整個過程會涉及到4個容器,分別是ZooKeeper、Mesos Master、Marathon、Mesos

    jopen 2015-01-10   12219   0
    Docker  

    Docker周報:OpenShift 3開發完成,即將發布 資訊

    Image。 《Apache的Mesos和Google的Kubernetes 有什么區別?》 :本文來自StackOverFlow上的一個問題,主要討論Mesos和Kubernetes的區別,相信我們很多人也有同樣的疑問。

    jopen 2015-01-25   22120   0
    Docker  

    深入淺出Docker(四):Docker的集成測試部署之道 經驗

    通過這些工具可以定制出企業私有的PaaS服務。 1) Apache Mesos + marathon Apache Mesos系統是一套資源管理調度集群系統,生產環境使用它可以實現應用集群。此系統

    jopen 2014-12-27   48378   0
    Docker  

    分布式并行計算調度和管理系統Summoner 經驗

    為什么要做“數據”并行計算調度? 他山之玉:azkaban2/oozie/mesos Summoner的特性 Summoner 是國璽部門推出的基于 MySQL+Redis+Zookeeper 的

    jopen 2016-01-08   15956   0

    Marathon 0.15: 更穩定 更多數據 更易用 資訊

    的0.15版增加了許多新功能,并進一步提升了性能、監控和用戶界面等方面的表現。 數人云基于Mesos技術,使用Marathon部署及監控長期運行的容器化應用程序,我們長期密切關注著Marathon

    jopen 2016-02-15   6296   0
    技術  

    分布式計算系統,Spark 發布1.0.0 版本 資訊

    是為了支持分布式數據集上的迭代作業,但是實際上它是對 Hadoop 的補充,可以在 Hadoop 文件系統中并行運行。通過名為Mesos的第三方集群框架可以支持此行為。Spark 由加州大學伯克利分校 AMP 實驗室 (Algorithms

    jopen 2014-05-30   29373   0
    Spark  

    深入淺出Docker(六):像谷歌一樣部署你的應用 經驗

    腦看待。這個思想在沒有Docker容器技術之前,早已在分布式系統中得到大量應用,類如Hadoop、Mesos、Yarn。由于虛擬化技術的限制,對 于更大實例規模仍然有很大的局限性。Docker技術出現后,

    f663x 2015-03-14   45743   0
    Docker  

    traefikv1.1.0-rc2 發布,一款開源的反向代理與負載均衡工具 資訊

    務系統直接整合,可以實現自動化動態配置。目前支持Docker, Swarm, Mesos/Marathon, Mesos, Kubernetes, Consul, Etcd, Zookeeper, BoltDB

    jopen 2016-10-17   10768   0

    《Spark官方文檔》集群模式概覽 經驗

    特別要指出的是,SparkContext能與多種集群管理器通信(包括:Spark獨立部署時自帶的集群管理器,Mesos或者YARN)。一旦連接上集群管理器,Spark會為該應用在各個集群節點上申請執行器(execu

    fyfg0690 2016-02-28   9942   0

    Docker周報第15期 資訊

    Image。 微軟技術博客 Apache的Mesos和Google的Kubernetes 有什么區別? 本文來自StackOverFlow上的一個問題,主要討論Mesos和Kubernetes的區別,相信我們很多人也有同樣的疑問。

    jopen 2015-01-25   21659   0
    Docker  

    Airbnb架構要點分享 經驗

    ,并自己開發了很多工具。雖然Mesos集群控制器已經被前Twitter和Airbnb工程師商業化,但他們現在使用Mesos并不多, 因為他們覺得: 本質上講,Mesos是一個抽象層。其設計初衷是讓

    jopen 2015-09-22   22226   0

    Docker三劍客之Swarm介紹 資訊

    Swarm對集群進行了抽象,抽象出了Cluster API,Swarm支持兩種集群,一種是Swarm自身的集群,另外一種基于Mesos的集群。 LeaderShip模塊用于Swarm Manage自身的HA,通過主備方式實現。 Discovery

    jopen 2015-09-09   17983   0
    Swarm  

    具備容錯特性的作業調度器:Chronos 經驗

    Airbnb 公司推出的用來替代 cron 的開源產品。你可以用它來對作業進行編排,支持使用 Mesos 作為作業執行器,支持和 Hadoop 進行交互。可定義作業執行完成后的觸發器。支持任意長度的依賴鏈。

    jopen 2013-12-18   21989   0
    1 2 3 4 5 6 7 8 9 10
  • sesese色