ceph集群配置注意事項

ceph部署環境：

    硬件環境。4臺4U的服務器，服務器配置信息如下：

    1）CPU是Intel Xeon E5-2650(32核心)；

    2）內存大小是128GB；

    3）服務器內共有35塊HDD，其中一塊HDD用于安裝操作系統，另外34塊HDD用于ceph存儲；

    4）網絡采用public/cluster類型的網絡；

    軟件環境。

    1）操作系統：4臺服務器都采用ubuntu-14.04.1；

    2）ceph軟件版本：Firefly最新版（0.80.11）；

出現的問題：

    當啟動集群時，ceph集群中出現大量的非active+clean的PGs并且osdmap也不穩定，osd的狀態在up和doan之間來回的切換。這樣導致ceph集群遲遲不能處于可用狀態。

問題原因：

    由于在一個host上啟動的osd數量太多了（34個OSDs），導致在ceph集群啟動時以及ceph集群在recovery和rebalance時，由于產生大量的線程，該線程數量已經遠遠超越了linux內核默認配置的系統最大線程數。

解決方案：

    linux內核默認的最大線程數是32768，可以通過命令#sysctl kernel.pid_max來查看。該最大線程數是針對桌面系統的，而對于服務器以及集群的系統來說，這個值是不夠的。因此最好將該值設置成最大值，即：#sysctl -w kernel.pid_max=4194303。或者修改/etc/sysctl.conf文件，將kernel.pid_max = 4194303填寫在/etc/sysctl.conf文件的末尾。

來自： http://my.oschina.net/linuxhunter/blog/592011