Docker Libnetwork 使用

前言

我們搭建一個網絡環境，一般遵循一定的網絡拓撲結構。由于Linux可以模擬相應的網絡設備，并可以創建“虛擬機”（也就是容器），因此在Linux系統內，我們也可以遵循一定的網路拓撲結構，設計一個“內網”，實現容器之間的通信。

本文主要講述容器跨主機網絡通信。

實現方式

容器跨主機的網絡通信，主要實現思路有兩種：二層VLAN網絡和Overlay網絡。

二層VLAN網絡的解決跨主機通信的思路是把原先的網絡架構改造為互通的大二層網絡，通過特定網絡設備直接路由，實現容器點到點的之間通信。

Overlay網絡是指在不改變現有網絡基礎設施的前提下，通過某種 約定通信協議 ，把二層報文封裝在IP報文之上的新的數據格式。

libnetwork

Libnetwork是Docker團隊將Docker的網絡功能從Docker核心代碼中分離出去，形成一個單獨的庫。 Libnetwork通過 插件的形式 為Docker提供網絡功能。 使得用戶可以根據自己的需求實現自己的Driver來提供不同的網絡功能。

官方目前計劃實現以下Driver：

1. Bridge ： 這個Driver就是Docker現有網絡Bridge模式的實現。 （基本完成，主要從之前的Docker網絡代碼中遷移過來）
2. Null ： Driver的空實現，類似于Docker 容器的None模式。
3. Overlay ： 隧道模式實現多主機通信的方案。

“Libnetwork所要實現的網絡模型（網絡拓撲結構）基本是這樣的： 用戶可以創建一個或多個網絡（一個網絡就是一個網橋或者一個VLAN ），一個容器可以加入一個或多個網絡。 同一個網絡中容器可以通信，不同網絡中的容器隔離。” 我覺得這才是將網絡從docker分離出去的真正含義，即在創建容器之前，我們可以先創建網絡（即創建容器與創建網絡是分開的），然后決定讓容器加入哪個網絡。

Libnetwork定義的容器網絡模型

• Sandbox：對應一個容器中的 網絡環境 （沒有實體），包括相應的網卡配置、路由表、DNS配置等。CNM很形象的將它表示為網絡的『沙盒』，因為這樣的網絡環境是隨著容器的創建而創建，又隨著容器銷毀而不復存在的；
• Endpoint：實際上就是一個容器中的虛擬網卡，在容器中會顯示為eth0、eth1依次類推；
• Network：指的是一個能夠相互通信的容器網絡，加入了同一個網絡的容器直接可以直接通過對方的名字相互連接。它的實體本質上是主機上的虛擬網卡或網橋。

Libnetwork網絡使用方式

直接使用

1. 假設存在主機 192.168.56.101 , 192.168.56.102
2. 修改每個主機的docker啟動參數 DOCKER_OPTS=--insecure-registry 192.168.3.56:5000 -H 0.0.0.0:2375 --cluster-store=etcd://192.168.56.101:2379/ --cluster-advertise=192.168.56.101:2375 ，重啟docker。
3. docker創建overlay網絡net1和net2
   
   • 192.168.56.101 或 192.168.56.102 執行 docker network create -d overlay net1``docker network create -d overlay net2
   • 192.168.56.101 運行容器net1c1,net2c1 docker run -itd --name net1c1 --net net1 ubuntu:14.04
   • 192.168.56.102 運行容器net1c2,net2c2。

通過docker compose使用

1. 啟動etcd集群，存儲docker swarm節點信息
   192.168.56.101 上etcd配置
   ETCD_OPTS=--data-dir=/var/lib/etcd/ \
   --name wily1 \
   --initial-advertise-peer-urls http://192.168.56.101:2380 \
   --listen-peer-urls http://192.168.56.101:2380 \
   --listen-client-urls http://192.168.56.101:2379 , http://127.0.0.1:2379 \
   --advertise-client-urls http://192.168.56.101:2379 \
   --initial-cluster-token etcd-cluster-1 \
   --initial-cluster-state new \
   --initial-cluster wily1= http://192.168.56.101:2380 ,wily2= http://192.168.56.102:2380
   192.168.56.102 上etcd配置
   ETCD_OPTS=--data-dir=/var/lib/etcd/ \
   --name wily1 \
   --initial-advertise-peer-urls http://192.168.56.102:2380 \
   --listen-peer-urls http://192.168.56.102:2380 \
   --listen-client-urls http://192.168.56.102:2379 , http://127.0.0.1:2379 \
   --advertise-client-urls http://192.168.56.102:2379 \
   --initial-cluster-token etcd-cluster-1 \
   --initial-cluster-state new \
   --initial-cluster wily1= http://192.168.56.101:2380 ,wily2= http://192.168.56.102:2380
2. 啟動 docker swarm
   
   • 192.168.56.101 執行 docker run --name swarm-agent -d swarm join --addr=192.168.56.101:2375 etcd://192.168.56.101:2379/swarm
   • 192.168.56.102 執行 docker run --name swarm-agent -d swarm join --addr=192.168.56.102:2375 etcd://192.168.56.102:2379/swarm
   • 192.168.56.101 上啟動swarm-manager docker run --name swarm-manager -d -p 3375:2375 swarm manage etcd://192.168.56.101:2379/swarm
   docker-swarm啟動建議做成systemd的形式，并配置docker DOCKER_HOST環境變量
3. 192.168.56.101 上創建網絡net3并啟動容器
   docker -H tcp://localhost:3375 network create -d overlay net3
   docker -H tcp://localhost:3375 run -it --net net3 ubuntu bash
4. 192.168.56.101 上創建網絡net4并啟動容器，并且指定容器的ip， 這個效果在實際場景中很有用
   docker -H tcp://localhost:3375 network create -d overlay net4 --subnet 172.19.0.0/16
   docker -H tcp://localhost:3375 run -it --net net4 --ip=172.19.0.6 ubuntu bash

使用 --ip 參數時，必須值定特定的子網 ，參見 https://github.com/docker/docker/issues/20547

一些坑

如果你使用virtual box虛擬了兩個主機 192.168.56.101 和 192.168.56.102 ，并且 192.168.56.102 是由 192.168.56.101 克隆而來，則你需要清除 xx/docker/key.json （不同系統位置不同），并重啟docker。否則兩個主機啟動的容器可能具有同一個id，進而導致使用docker swarm時出現問題。參見 https://github.com/docker/swarm/issues/380

小結

docker 真是做的越來越全面了，如果僅僅是用用，一切都是參數配置，搞得人家很沒有成就感嘛。

參考文獻

</div>