hadoop集群ambari搭建(2)之制作hadoop本地源

準備好源資源服務器，我使用之前的一臺node4，配置都是1GB內存20GB存儲

集群最好的安裝方式一定是通過本地源的，如果是公共源，那么網絡將會嚴重影響我們的安裝進度。所以制作本地源是每一個大數據工作者的必會技能。

1：制作ambari（1.4.1.25）本地源

下載ambari repo

 [root@node4 ~]# cp ambari.repo /etc/yum.repos.d/

安裝 yum-utils 其中有個命令是同步命令reposync 用來同步遠程的yum repository

查看我們repo里面有什么：

準備HDP網絡源

[root@node4 ~]# vi /etc/yum.repos.d/HDP.repo

vi /etc/yum.repos.d/HDP.repo，添加以下內容

[HDP-2.0.6]

name=HDP

baseurl=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.0.6.0

enabled=1

gpgcheck=0

[root@node4 ~]# yum repolist

Loaded plugins: fastestmirror

Loading mirror speeds from cached hostfile

 * base: mirrors.vinahost.vn

 * extras: mirrors.vinahost.vn

 * updates: mirrors.vinahost.vn

HDP-2.0.6                                                                                                                                        | 2.9 kB     00:00

HDP-2.0.6/primary_db                                                                                                                             |  70 kB     00:01

repo id                                                       repo name                                                                                           status

HDP-2.0.6                                                     HDP                                                                                                   156

HDP-UTILS-1.1.0.16                                            Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.16                                           61

Updates-ambari-1.4.1.25                                       ambari-1.4.1.25 - Updates                                                                               5

ambari-1.x                                                    Ambari 1.x                                                                                              5

base                                                          CentOS-6 - Base                                                                                     6,575

cloudera-cdh5                                                 Cloudera CDH, Version 5.5.1                                                                           146

cloudera-manager                                              Cloudera Manager, Version 5.5.1                                                                         7

extras                                                        CentOS-6 - Extras                                                                                      48

keytrustee                                                    Cloudera Navigator Key Trustee, Version 5.5.0                                                           1

updates                                                       CentOS-6 - Updates                                                                                    958

repolist: 7,962

reposync -r HDP-2.0.6  

耐心等待。

同步完成，檢查文件夾

[root@node4 ~]# ll

total 600

drwxr-xr-x   3 root root   4096 Dec 29 09:45 ambari-1.x

drwxr-xr-x  17 root root   4096 Dec 29 12:39 HDP-2.0.6

drwxr-xr-x  18 root root   4096 Dec 29 09:40 HDP-UTILS-1.1.0.16

查看文件大小：

du: cannot access `work/testing': No such file or directory

[root@node4 ~]# du -h --max-depth=1 

65M     ./HDP-UTILS-1.1.0.16

2.8M    ./iptraf-3.0.0

8.0K    ./.pki

38M     ./ambari-1.x

2.1G    ./HDP-2.0.6

2.2G    . 

HDP-2.0.6 復制到http server的/var/www/html/hdp下

cd /var/www/html/hdp

createrepo ./  

create是創建的意思，repo是repository的縮寫，是倉庫的意思。

yum(Yellow dog Updater,Modified)主要的功能是方便添加、刪除和更新rpm軟件包。可以解決軟件包依存問題，更便于管理大量的系統更新問題。它可以同時配置多個倉庫或叫資源庫(repository)，就是存放更新和依存的軟件包的地方。

[root@node4 hdp]# yum install createrepo 

[root@node4 hdp]# createrepo ./

Spawning worker 0 with 131 pkgs

Workers Finished

Gathering worker results

Saving Primary metadata

Saving file lists metadata

Saving other metadata

Generating sqlite DBs

Sqlite DBs complete

這樣hadoop的本地源就做好了

打開鏈接：http://192.168.1.44/hdp/

3.制作Centos系統源

手動mount系統光盤

[root@node4 mnt]# mount /dev/cdrom  /var/www/html/centos/

mount: block device /dev/sr0 is write-protected, mounting read-only

[root@node4 mnt]# cd /var/www/html/centos/

[root@node4 centos]# ll

total 82

-r--r--r-- 1 root root    14 Nov 29  2013 CentOS_BuildTag

dr-xr-xr-x 3 root root  2048 Nov 29  2013 EFI

-r--r--r-- 1 root root   212 Nov 27  2013 EULA

-r--r--r-- 1 root root 18009 Nov 27  2013 GPL

dr-xr-xr-x 3 root root  2048 Nov 29  2013 images

dr-xr-xr-x 2 root root  2048 Nov 29  2013 isolinux

dr-xr-xr-x 2 root root 40960 Nov 29  2013 Packages

-r--r--r-- 1 root root  1354 Nov 27  2013 RELEASE-NOTES-en-US.html

dr-xr-xr-x 2 root root  4096 Nov 29  2013 repodata

-r--r--r-- 1 root root  1706 Nov 27  2013 RPM-GPG-KEY-CentOS-6

-r--r--r-- 1 root root  1730 Nov 27  2013 RPM-GPG-KEY-CentOS-Debug-6

-r--r--r-- 1 root root  1730 Nov 27  2013 RPM-GPG-KEY-CentOS-Security-6

-r--r--r-- 1 root root  1734 Nov 27  2013 RPM-GPG-KEY-CentOS-Testing-6

-r--r--r-- 1 root root  3380 Nov 29  2013 TRANS.TBL

4.制作HDP-UTILS-1.1.0.17源