hadoop再次集群搭建（4）-Cloudera Manager Installation

jopen 8年前發布 | 14K 次閱讀 分布式/云計算/大數據

   決定選擇 Cloudera Manager  進行安裝，閱讀官方文檔，掌握大概脈絡。


        Cloudera Manager在集群已經實現ssh免秘鑰登錄，能夠訪問網絡資源和本地資源的情況下，可以自動安裝和配置CDH(Cloudera  distributed hadoop),以及管理在這個集群上面的服務。

       Cloudera Manager安裝軟件包括：

  •  A small self-executing Cloudera Manager installation program to install the Cloudera Manager Server and other packages in preparation for host installation.

  • Cloudera Manager wizard for automating CDH and managed service installation and configuration on the cluster hosts. Cloudera Manager provides two methods for installing CDH and managed services: traditional packages (RPMs or Debian packages) or parcels. Parcels simplify the installation process, and more importantly allows you to download, distribute, and activate new minor versions of CDH and managed services from within Cloudera Manager.
    • </ul> </div>


    他的主要功能是：


    1. Automated deployment and configuration. 

    2. Customizable Monitoring and reporting.

    3. Effortless, robust troubleshooting. 

    4. Zero downtime maintenance. 
      5. </ol> </div>


      在安裝之前，我們需要執行兩個操作，很重要。關閉防火墻是防止出現訪問被拒絕， SElinux也是如此。集群之間的通信很重要，確保不會因為任何限制而導致通信失敗。


      關閉防火墻
      在Hadoop安裝過程中需要關閉防火墻和SElinux，否則會異常

      1.    service iptables status 查看防火墻狀態

      2.    使用如下命令關閉iptables，執行該命令后重啟機器生效
      chkconfig iptables off

      關閉之后：
      </div>


      關閉SElinux

      1.    使用getenforce命令查看是否關閉

      2.    修改/etc/selinux/config 文件
      將SELINUX=enforcing改為SELINUX=disabled，執行該命令后重啟機器生效

      </div> </div> SELinux (Security-Enhanced Linux)  是 美國國家安全局（NSA）對于強制訪問控制的實現， 是 Linux歷史上最杰出的新安全子系統。 NSA 是 在Linux社區的幫助下開發了一種訪問控制體系，在這種訪問控制體系的限制下，進程只能訪問那些在他的任務中所需要文件。  SELinux  默認安裝在Fedora 和Red Hat Enterprise Linux 上，也可以作為其他發行版上容易安裝的包得到。  SELinux 是 2.6 版本的Linux 內核中提供的強制訪問控制(MAC）系統。


      </div> </div>

      在 Cloudera Manager 部署官方解答中，有三種部署方式，這里我選擇第一種，自動安裝。


      安裝路徑 A — 通過 Cloudera Manager 自動安裝  - Cloudera Manager 自動安裝 Oracle JDK、Cloudera Manager Server、嵌入式 PostgreSQL 數據庫、Cloudera Manager Agent、CDH、管理服務軟件至群集主機，并為 Cloudera Manager Server 和 Hive Metastore 以及 Cloudera Management Service 角色（可選）配置數據庫。建議概念部署演示和證明使用路徑，但不建議產品部署使用，因為它不能擴展，隨著群集的增長可能需要進行數據庫遷移。要使用此方法，服務器和群集主機必須滿足以下要求：</span>

      • 可使用根帳戶或具有無密碼權限的賬戶登錄 Cloudera Manager Server 主機。

      • 允許 Cloudera Manager Server 主機在同一端口具有統一的 SSH 訪問，可訪問所有主機。更多信息，請參閱 網絡和安全要求。

      • 所有主機必須具有訪問標準軟件包存儲庫以及 archive.cloudera.com 或包含必要安裝文件的本地存儲庫的權限。

        • </ul>

        對于以上三點要求，我的集群是滿足的，之前配置了hadoop用戶之間的免秘鑰登錄，所有主機都可以訪問網絡。


        Pre-requisites: multiple, Internet-connected Linux machines, with SSH access, and significant free space in /var and /opt. 確認之后 三部到位


        $ wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

        $ chmod u+x cloudera-manager-installer.bin

        $ sudo ./cloudera-manager-installer.bin


        最后一步的時候，報錯，hadoop不在superdoers中。進行配置即可。

         vi /etc/sudoers
        </div>


        增加 hadoop ALL=（ALL） ALL

        這一步是賦予用戶hadoop所有root的權限。

        執行第三步：


        接下來一些列對話框，跳過即可，接著就是安裝jdk


        解決：我刪除了 /etc/yum.repos.d/下面的幾個repo文件：


        -rw-r--r--  1 root root  195 Oct 19 14:54 cloudera-manager.repo

        -rw-r--r--  1 root root  195 Oct 19 14:54 cloudera-manager.repo.rpmnew

        -rw-r--r--  1 root root  290 Dec 10 02:21 cloudera-manager.repo.rpmsave
        </div>


        然后重新安裝就回復正常了，可能是之前我獨自下載了一個repo文件的問題。


        然后怎么知道正在安裝呢？我想的是安裝流量監控軟件看網絡是否有下載網速。


        iptraf軟件是一個監控網絡的好工具，安裝在這里不在介紹，點擊這個鏈接查看詳細步驟。


        我得到了我的機器的下載jdk的網速：


        可見網速十分緩慢。可能是辦公室網絡比較慢，用的源是越南的，而我所在地沒有源，所以速度也就只能這樣了。


        到這里想起月鳳先生講過的一些道理。順勢而為，順其自然是最好的方式，網速既然只有這樣，那就這樣最好。請耐心等待變盤的時刻。



        耐心等待下終于安裝好了，接下來安裝server,中間等待的時間可能有10多分鐘，一定要有耐心，不然中途退出就不好了。這個安裝界面因為進度條顯示不是實時的，總懷疑是不是出了什么問題，所以在這之前安裝一個網絡監控軟件是一個很不錯的選擇，對于我這種需要安全感的人而言，看到網絡tcp保持連接有網速，就覺得安心，也就不會懷疑停在這個界面是不是出了什么問題。


        當然，另外一個好的選擇就是 tail -f /var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log 查看日志，不過也不是實時的貌似。


                                                 +------------------ Installing ------------------+

                                                 | .           Cloudera Manager Server          . |

                                                 |                      40%                       |

                                                 |            cloudera-manager-server             |

                                                 |                                                |

                                                 +------------------------------------------------+


        </div>


        這個時候的網速還是很快的：


        可能因為cdh太大，還是要等待很長時間才會完成。粗略計算：jdk130MB+server  Total download size: 481 M 一共需下載600MB，需要二十分鐘到三十分鐘。




        完成安裝之后：

        +--------------------------------------------------------- Next step ----------------------------------------------------------+  

          | Point your web browser to  http://node1.com:7180/. Log in to Cloudera Manager with username: 'admin' and password: 'admin' to |  

          | continue installation. (Note that the hostname may be incorrect. If the url does not work, try the hostname you use when     |  

          | remotely connecting to this machine.) If you have trouble connecting, make sure you have disabled firewalls, like iptables.  |  

          |------------------------------------------------------------------------------------------------------------------------------|  

          |                                                            < OK >                                                            |  

          +------------------------------------------------------------------------------------------------------------------------------+  


        </div>

        看到node1.com,我們需要在其他機器上打開這個鏈接，因此在本地計算機配置hosts文件加入：


        192.168.122.128    node1.com

        192.168.122.129    node2.com

        192.168.122.130    node3.com
        </div>



        打開鏈接，顯示登錄框，表示我們安裝成功：


        接下來進行CDH的安裝了。



        </div>

        Charles 于2015-12-17 Phnom Penh



        </span></div>

        版權說明：

        本文由Charles Dong原創，本人支持開源以及免費有益的傳播，反對商業化謀利。

        CSDN博客：http://blog.csdn.net/mrcharles
        </div>

        個人站：http://blog.xingbod.cn

        EMAIL：charles@xingbod.cn
        </div> </div> </div>

        來自： http://blog.csdn.net//mrcharles/article/details/50344913

         本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
         轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
         本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！

        相關經驗

        相關資訊

        相關文檔