• 大數據技術大合集:Hadoop家族、Cloudera系列、spark、storm 經驗

    是為了支持分布式數據集上的迭代作業,但是實際上它是對 Hadoop 的補充,可以在 Hadoo 文件系統中并行運行。通過名為 Mesos 的第三方集群框架可以支持此行為。Spark 由加州大學伯克利分校 AMP 實驗室 (Algorithms

    jopen 2014-11-22   190566   0

    Kubernetes系統架構簡介 經驗

    目前受到各大巨頭及初創公司的青睞,如Microsoft、VMWare、Red Hat、CoreOS、Mesos等,紛紛加入給Kubernetes貢獻代碼。隨著Kubernetes社區及各大廠商的不斷改進、發

    jopen 2014-11-04   52540   0

    在Docker中運行PHP項目的探索之旅 經驗

    六、繼續探索 后面打算用Docker Swarm來簡單做下集群管理,未來對調度需求比較大時可能會嘗試下Mesos或者Kubernetes。不過關于容器的生態鏈都發展的非常快,可能等需要的時候又有更好的方案了吧。

    DelorasLeve 2016-02-28   11918   0
    Docker  

    [譯] 如何選擇合適的分布式機器學習平臺 經驗

    迎通過公眾號菜單「聯系我們」進行投稿。 推薦閱讀 一鍵搭建深度學習平臺,基于Docker/Mesos和NVIDIA GPU詳細教程 迭代速度慢?成熟的機器學習流如何設計:微博大規模機器學習框架Weiflow揭秘

    MarWingfiel 2017-08-02   43924   0

    開源容器集群管理系統Kubernetes架構及組件介紹 經驗

    到各大巨頭及初創公司的青睞,如Microsoft、VMWare、Red Hat、CoreOS、Mesos等,紛紛加入給Kubernetes貢獻代碼。隨著Kubernetes社區及各大廠商的不斷改進、發

    jopen 2015-03-29   40609   0

    解讀2014之Docker篇:才氣、勇氣、運氣 資訊

    么多容器上部署你的應用。當你在幾百臺服務器上部署幾萬個容器的時候, Kubernetes 、 Mesos 這些調度框架的作用就顯現出來了,所以分布式應用相關的開源軟件也是新一年的風向標。 回到國內

    wp5x 2015-01-10   28686   0
    Docker  

    優秀大數據GitHub項目一覽 資訊

    。Spark可以運行于很多環境中,如獨立的集群、Hadoop YARN、EC2和Apache Mesos。Apache Spark也能從Hive、HBase、Tachyon、Cassandra和HDFS等數據源讀取數據。

    jopen 2016-01-18   31229   0
    P49

      Deep dive into Spark Streaming 文檔

    KryoSerializer Use Spark stand-alone mode rather than Mesos 46. Step 2: Optimize for Lower LatencyUsing concurrent

    fkd27 2015-10-17   545   0

    Spark 偽分布式 & 全分布式 安裝指南 經驗

    、Standalone Deploy Mode;二、Amazon EC2 ;三、Apache Mesos;四、Hadoop YARN。第一種方式是單機部署,不需要有依賴的資源管理器,其它三種都需要將spark部署到對應的資源管理器上。

    jopen 2015-04-02   84283   0

    360的容器化之路 經驗

    統一鏡像構建標準,同時也降低了編寫Dockerfile的學習成本。 調度模塊就直接用的Mesos和Marathon,鏡像Registry直接使用了 Registry V2因為它性能更好對高并發

    jopen 2015-08-21   27363   0
    360  

    [譯]英雄聯盟是如何使用jenkins和docker的 經驗

    這種方式有幾個相互競爭的插件,這些插件通常都是以如何維護和構建Docker云為中心。迄今為止,這種插件有Kubernetes,Mesos以及“純”Docker方式。 如何選擇模式? 兩種模式都能有效的解決問題。在Riot,我們感

    QXPDar 2016-04-22   28321   0
    Docker   Jenkins  

    不同的瑞士軍刀:對比 Spark 和 MapReduce 經驗

    可能更便宜。 兼容性 Spark 既可以單獨運行,也可以在 Hadoop YARN 上,或者在預置 Mesos 上以及云端。它支持實現 Hadoop 輸入范式的數據源,所以可以整合所有 Hadoop 支持的數據源和文件格式。

    jopen 2016-01-14   21447   0

    開辟 Docker 的分支:分離的討論現在已經擺上臺面 經驗

    該公司同樣提供了基于云的容器相關支持服務。 “如果你的團隊在深度使用Kubernetes、Mesos或Cloud Foundry,你需要一個穩定、簡單、無奇的容器實現方案,僅有最少的基本功能,由社

    BetKeller 2016-09-08   15139   0
    Docker  

    談談創業公司的技術選型 經驗

    我們是微服務的堅定踐行者,微服務技術的核心是容器編排系統,現在最流行的三個容器編排系統是 Kubernetes,Mesos,Swarm。 通過比較我們選擇了 Kubernetes(簡稱 k8s),因為 Kubernetes

    txsq9181 2016-09-21   10375   0

    當Node.js遇見Docker 經驗

    群的節點上安裝和配置任何組件。至于整個Docker集群的管理,業界有很多成熟的解決方案,例如 Mesos , Kubernetes 與 Docker Swarm 。這些集群系統提供了 調度 , 服務發現

    AlvinGraynd 2017-04-05   94783   0

    羊年八問:微服務、容器與Docker 資訊

    多的驚訝。 我相信微服務會是大的趨勢,所以我認為企業也會不斷探索容器(Docker、 Mesos 、 Rocket 或者任何不久我們將無疑會看到的其他替代品)如何融入到工作中。在最近的一些討論

    jopen 2015-01-26   14844   0
    Docker  

    蘑菇街11.11:私有云平臺的Docker應用實踐 資訊

    待解決,包括容器本身的隔離性問題,集群的彈性調度問題等等。同時我們也很關注Docker相關的開源軟件Kubernetes、Mesos、 Hyper、criu、runC的發展,未來將引入容器的熱遷移,Docker Daemon的熱升級等特性。

    jopen 2015-11-11   25948   0
    Docker  

    事實上,Spark是一項非常值得學習的技術 資訊

    HIVE, HBase, Cassandra等) 既可以在Hadoop YARN或者Apache Mesos等集群上運行,也可以單機運行。 Spark核心組件可以和其他一些高效的軟件庫無縫連接使用。這些軟件庫包括SparkSQL

    jopen 2016-02-15   34562   0
    Spark  

    Spark 是否真的比 MapReduce 技高一籌 資訊

    可能更便宜。 兼容性 Spark 既可以單獨運行,也可以在 Hadoop YARN 上,或者在預置 Mesos 上以及云端。它支持實現 Hadoop 輸入范式的數據源,所以可以整合所有 Hadoop 支持的數據源和文件格式。

    jopen 2016-02-19   29104   0

    B站運維團隊成長的血淚史 經驗

    上了,用Host方式。今年下半年,我們的一個大目標就是Docker接入其它線上業務。目前使用的Mesos?Macvlan方式已經在踩水過程中。 問:Hadoop?相關的運維需要做嗎? 答:大數

    JaninaMccol 2016-09-05   31218   0
    1 2 3 4 5 6 7 8 9 10
  • sesese色