Kubernetes技術分析之監控

jopen 9年前發布 | 65K 次閱讀 Kubernetes

Docker的流行激活了一直不溫不火的PaaS，隨著而來的是各類Micro-PaaS的出現，Kubernetes是其中最具代表性的一員，它是 Google多年大規模容器管理技術的開源版本。本系列文章將逐一分析Kubernetes，本文介紹 Kubernetes中2個主要的監控模塊cAdvisor 和Heapster 。

Kubernetes監控

監控是運維的根基，是非常重要的一環，對此Kubernete提供了平臺本身以及應用的監控，下圖是Kubernete中監控的邏輯設計圖：

Kubernetes技術分析之監控

cAdvisor

監控agent, 在每個Kubernetes Node上都會運行cAdvisor 。cadvisor 會收集本機以及容器的監控數據（CPU, memory, filesystem, and network usage statistics）。
在較新的Kubernetes版本里，cadvior功能已經被集成到了kubelet組件中。在Node節點上可以直接訪問cadvisor 的界面：

Kubernetes技術分析之監控

也可以調用cadvisor 的API接口，參考：
https://github.com/google/cadv ... pi.md

下面是cadvisor 一條記錄,可以看到統計的監控數據范圍： 
{
        "timestamp": "2015-08-06T16:26:14.407749377+08:00",
        "cpu": {
            "usage": {
                "total": 9868208554,
                "per_cpu_usage": [9868208554],
                "user": 1850000000,
                "system": 280000000
            },
            "load_average": 0
        },
        "diskio": {
            "io_service_bytes": [{
                "major": 253,
                "minor": 7,
                "stats": {
                    "Async": 13946880,
                    "Read": 13946880,
                    "Sync": 0,
                    "Total": 13946880,
                    "Write": 0
                }
            }],
            "io_serviced": [{
                "major": 253,
                "minor": 7,
                "stats": {
                    "Async": 369,
                    "Read": 369,
                    "Sync": 0,
                    "Total": 369,
                    "Write": 0
                }
            }]
        },
        "memory": {
            "usage": 8548352,
            "working_set": 4067328,
            "container_data": {
                "pgfault": 6462,
                "pgmajfault": 132
            },
            "hierarchical_data": {
                "pgfault": 6462,
                "pgmajfault": 132
            }
        },
        "network": {
            "name": "",
            "rx_bytes": 0,
            "rx_packets": 0,
            "rx_errors": 0,
            "rx_dropped": 0,
            "tx_bytes": 0,
            "tx_packets": 0,
            "tx_errors": 0,
            "tx_dropped": 0
        },
        "task_stats": {
            "nr_sleeping": 0,
            "nr_running": 0,
            "nr_stopped": 0,
            "nr_uninterruptible": 0,
            "nr_io_wait": 0
        }
    },


Heapster

Heapster 收集所有Kubernetes Node，然后匯總數據，然后可以導到第三方工具（如Influxdb）。

Heapster 可以以Pod的方式運行在Kubernetes平臺里，也可以單獨運行以standalone的方式。
使用Pod方式部署的話問題比較多，本文采用standalone方式部署。 

$ docker run  -p 8082:8082 \
--add-host=node1:192.168.3.147 --add-host=node2:192.168.3.148 --add-host=node3:192.168.3.149 \
kubernetes/heapster:v0.15.0 \
--source=kubernetes:http://192.168.3.146:8080?inClusterConfig=false&useServiceAccount=false \
--sink=influxdb:http://10.254.209.104:8086 


source用于配置監控來源，它支持的參數：

  • inClusterConfig - Use kube config in service accounts associated with heapster's namesapce. (default: true)

  • kubeletPort - kubelet port to use (default: 10255)

  • kubeletHttps - whether to use https to connect to kubelets (default: false)

  • apiVersion - API version to use to talk to Kubernetes. Defaults to the version in kubeConfig.

  • insecure - whether to trust kubernetes certificates (default: false)

  • auth - client auth file to use. Set auth if the service accounts are not usable.

  • useServiceAccount - whether to use the service account token if one is mounted at/var/run/secrets/kubernetes.io/serviceaccount/token (default: false)
    • </ul>
    注意：--add-host主要是因為Heapster 會根據hostname去查詢node的IP，參考：
    https://github.com/GoogleCloud ... 62998

    Heapster 運行后，可以在influxdb查詢到數據，說明監控數據已經上報：

    Kubernetes技術分析之監控

    參考