對Hadoop進行打包,分發和測試的工具：Apache Bigtop 介紹

jopen 10年前發布 | 35K 次閱讀 分布式/云計算/大數據 Apache Bigtop

    對Hadoop進行打包,分發和測試的工具：Apache Bigtop 介紹

    Bigtop 是一個工程的系統開發包，對Apache Hadoop生態系統的測試。

    Bigtop的主要目標就是構建一個Apache Hadoop生態系統的包和交互式測試的社區。這個包括對各類不同級別工程進行測試(包，平臺，運行時間，升級等...)，它由社區以關注系統作為一個整體開發而來。


    構建Bigtop

    包能夠被構建在Ubuntu 10.10， CentOS 5/6， Fedora 18, Mageia 1 和12.1, 它們也同樣能夠在其它平臺被構建。
    構建的前提是有下列工具包：
  • Java JDK 1.6
  • Apache Ant
  • Apache Maven
  • wget
  • tar
  • git
  • subversion
  • gcc
  • gcc-c++
  • make
  • fuse
  • protobuf-compiler
  • autoconf
  • automake
  • libtool
  • sharutils
  • asciidoc
  • xmlto

On RPM-based systems one also needs

  • lzo-devel
  • zlib-devel
  • fuse-devel
  • openssl-devel
  • python-devel
  • libxml2-devel
  • libxslt-devel
  • cyrus-sasl-devel
  • sqlite-devel
  • mysql-devel
  • openldap-devel
  • rpm-build
  • createrepo
  • redhat-rpm-config (RedHat/CentOS only)

在基于DEB系統也需要：

  • libxslt1-dev
  • libkrb5-dev
  • libldap2-dev
  • libmysqlclient-dev
  • libsasl2-dev
  • libsqlite3-dev
  • libxml2-dev
  • python-dev
  • python-setuptools
  • liblzo2-dev
  • libzip-dev
  • libfuse-dev
  • libssl-dev
  • build-essential
  • dh-make
  • debhelper
  • devscripts
  • reprepro

連續集成（Continuous Integration）

     Apache Bigtop 使用Jenkins作為CI(continuous integration)測試(您能夠學習到更多有關Jenkins). 當前有2臺Jenkins服務器運行這個工程。
     無論什么時候有代碼提交到trunk branch里，Apache Jenkins服務器會運行“Bigtop-trunk”作業，交流地運行幾個測試作業。
     Bigtop Jenkins服務器每天運行0.3和trunk branch的作業，對于支持的操作系統，每個作業(job)都有一個配置。在任何一個branch中，有一個作業來構建它的組件，一個作業運行包測試，另一個構建包倉庫。那兒也有任務構建虛擬機鏡像（Images），同樣也會有2個最近發布的版本和其它綜合任務（tasks）為了不同的RCs和測試。比如：
http://bigtop.apache.org/
 本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！