• 基于Docker快速搭建多節點Hadoop集群 資訊

    一. 項目簡介 GitHub地址: https://github.com/kiwenlau/hadoop-cluster-docker 博客地址: http://www.cnblogs.com/kiwenlau/p/4524607

    jopen 2015-05-24   18525   0
    Docker  

    SOA在新興的Hadoop世界扮演的角色 資訊

    新興且流行的數據即平臺(Data-as-a-platform)Hadoop與一定程度上失寵的SOA的聯姻,可能么?Joe McKendrick在其最新的 博文 中稱,此結合非常有益,尤其對SOA,因為數據即平臺可以極大程度上簡化數據整合:

    openkk 2011-11-05   16214   0
    Hadoop   SOA  

    Hadoop子項目 ZooKeeper 3.3.4 發布 資訊

    ZooKeeper是Hadoop的正式子項目,它是一個針對大型分布式系統的可靠協調系統,提供的功能包括:配置維護、名字服務、分布式同步、組服務等。ZooKeeper的目標就是封裝好復雜易出錯的關鍵服務

    fmms 2011-11-29   17508   1
    Hadoop  

    MongoDB Hadoop Connector 1.0 正式版發布 資訊

    MongoDB Hadoop Connector 1.0 正式版本。 MongoDB Hadoop Connector 的核心功能是允許讀取 MongoDB 數據到 Hadoop MapReduce

    openkk 2012-04-11   21638   1
    Hadoop  

    Spring for Apache Hadoop 2.3 M3 發布 資訊

    Spring for Apache Hadoop 提供了 Spring 框架用于創建和運行 Hadoop MapReduce、Hive 和 Pig 作業的功能,包括 HDFS 和 HBase。如果你需要簡單的基于

    xdld 2015-09-22   16852   0
    P8

      Hadoop集群測試方案及計劃 v1.0 文檔

    ?Hadoop集群測試方案 1. 引言 隨著云計算技術的飛速發展,越來越多的數據密集型企業相繼出現.面臨著這些海量的數據信息,包括結構化信息、半結構化信息及其非結構化信息,如何存儲并對這些信息進行處理將是這些企業面臨的巨大挑戰.

    lygkkk123 2012-08-21   570   0

    hadoop框架詳細分析 經驗

    指定一個Map 函數,把鍵值對(key/value)映射成新的鍵值對(key/value),形成一系列中間結果形式的key/value 對,然后把它們傳給Reduce(規約)函數,把具有相同中間形式key

    jopen 2013-11-28   306378   0

    Hadoop家族學習路線圖 經驗

    主要介紹Hadoop家族產品,常用的項目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的項目包括,YARN

    jopen 2013-11-10   199151   0

    Hadoop YARN常見問題以及解決方案 經驗

    本文匯總了幾個hadoop yarn中常見問題以及解決方案,注意,本文介紹解決方案適用于hadoop 2.2.0以及以上版本。 (1) 默認情況下,各個節點的負載不均衡(任務數目不同),有的節點很

    jopen 2014-05-14   15178   0

    Hadoop集群間的hbase數據遷移 經驗

    集群中hbase的數據文件拷貝到本地 具體做法如下: 在hadoop目錄下執行如下命令,拷貝到本地文件。 bin/hadoop fs -copyToLocal /hbase/tab_keywordflow

    jopen 2012-09-04   508   0

    hadoop 里執行 MapReduce 任務的幾種方式 經驗

    "aa\tbb \tcc bb\tcc\tdd" > 3.txt hadoop fs -mkdir /data hadoop fs -put 3.txt /data 全文的例子均以該文

    jopen 2012-10-15   39572   0

    Hadoop 資源管理器 - Apache YARN 經驗

    Apache Hadoop YARN (Yet Another Resource Negotiator,另一種資源協調者)是一種新的 Hadoop 資源管理器,前不久被提升為高層次的Hadoop子項目。

    jopen 2012-12-19   22161   0

    Android(HTC G7) 安裝 Hadoop 偽分布 經驗

    在HTC G7 上運行 ubuntu for android。并安裝jdk1.7 arm 和 hadoop。 期間遇到了ssh問題,等各種問題,對于需要安裝Ubuntu系統的手機,首先需要獲得root?權限,簡單的方法是使?

    jopen 2013-07-26   30781   0

    hadoop增加新節點實踐 經驗

    第一步:修改將要增加節點的主機名 hadoop@datanode1:~$ vim /etc/hostname datanode2 第二步:修改host文件 hadoop@datanode1:~$

    jopen 2014-09-14   17756   0

    解析Hadoop 的集群管理與安全機制 經驗

    當前大一點的公司都采用了共享Hadoop集群的模式,這種模式可以減小維護成本,且避免數據過度冗余,增加硬件成本。共享集群類似于云計算或者云存儲,面臨的一個最大問題是安全。本文就對Hadoop 的集群管理與安全機制進行講解。

    jopen 2015-06-18   18658   0

    hadoop2.5.1安裝到虛擬機 經驗

    傳輸所有的依賴文件到其他服務器 scp -r dep root@192.168.234.112 :/home/hadoop/ 安裝java,并配置環境變量 java -version 查看現有java版本 rpm

    jopen 2014-12-03   107546   0

    如何挑選合適的大數據或Hadoop平臺? 經驗

    都采用了Hadoop。然而,當你已經決定要使用Hadoop來處理大數據時,首先碰到的問題就是如何開始以及選擇哪一種產品。本文討論了不同的選擇,并推薦了每種選擇的適用場合。 Hadoop平臺的多種選擇

    jopen 2015-02-19   45764   0

    不得不了解的Hadoop知識 經驗

    在去年曾經列出了一張應當了解的Hadoop 知識清單。如今2015年也已經少了兩個月,我認為我現在應當檢查一下大家對Hadoop的了解情況,同時在清單內容中增加一些技術。 首先,我希望大家不要忘記

    fn67 2015-03-21   15211   0

    Hadoop:分布式計算平臺初探 經驗

    Hadoop是一個開發和運行處理大規模數據的軟件平臺,是Appach的一個用java語言實現開源軟件框架,實現在大量計算機組成的集群中對海 量數據進行分布式計算。Hadoop框架中最核心設計就是:Ma

    jopen 2014-12-03   24277   0

    Hive:基于hadoop的數據倉庫工具 經驗

    Hive是基于Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射為一張數據庫表,并提供完整的sql查詢功能,可以將sql語句轉換為 MapReduce任務進行運行。其優點是學習成本低,可以通過

    jopen 2014-12-03   24098   0
    1 2 3 4 5 6 7 8 9 10
  • sesese色