• hadoop HDFS 的PHP擴展:phdfs 經驗

    phdfs是一個采用C語言的實現的PHP擴展,能夠使用PHP來操作Hadoop HDFS文件系統。示例: port = "9000";

    jopen 2014-08-02   43024   0

    Hadoop 安全機制認證---Kerberos 經驗

    1. 背景 在Hadoop1.0.0或者CDH3 版本之前, hadoop并不存在安全認證一說。默認集群內所有的節點都是可靠的,值得信賴的。用戶與HDFS或者M/R進行交互時并不需要進行驗證。導致存在惡意用

    jopen 2014-10-29   17181   0

    配置高可用的Hadoop平臺 經驗

    概述 在Hadoop2.x之后的版本,提出了解決單點問題的方案--HA(High Available 高可用)。這篇博客闡述如何搭建高可用的HDFS和YARN,執行步驟如下: 創建hadoop用戶 安裝JDK

    jopen 2015-02-26   38061   0

    Hadoop RPC使用方法示例 經驗

    定義RPC協議 import?java.io.IOException; import?org.apache.hadoop.ipc.VersionedProtocol; /** ?*?DateTime:?2014年12月28日?上午9:32:12

    碼頭工人 2014-12-29   18619   0

    搭建hadoop/spark集群環境 經驗

    hadoop和spark集群的搭建,主要用到了hadoop2.5.2、spark1.2.0、scala2.11.4 hadoop2.5.2的安裝可以參照 http://blog.csdn.ne

    jopen 2014-12-25   113517   0

    述說我的Hadoop成長路線 經驗

    Hadoop啟蒙 還在實驗室時,老師就建議看google關于大數據的三篇論文,啃了好長時間還是沒完全理解。也動手搭建了Hadoop集群,運行了wordcount,帶著“Hadoop會火“的指示離開了實驗室。

    jopen 2015-03-11   29845   0

    Hadoop 壓縮實現分析 經驗

    Hadoop 作為一個較通用的海量數據處理平臺,每次運算都會需要處理大量數據,我們會在 Hadoop 系統中對數據進行壓縮處理來優化磁盤使用率,提高數據在磁盤和網絡中的傳輸速度,從而提高系統處理數據的

    hbnyb 2016-01-21   21499   0

    Hadoop平臺架構 經驗

    來自: http://www.itweet.cn/2016/01/25/Hadoop-Disk-Planning/ 文章目錄 1. 簡介 2. 走向分布式 3. 存儲規劃 4. HDFS目錄規劃 4

    dongpo 2016-01-27   21195   0

    10個Hadoop的應用場景 問答

    誰在用 Hadoop 這是個問題。在大數據背景下,Apache Hadoop 已經逐漸成為一種標簽性,業界對于這一開源分布式技術的了解也在不斷加深。但誰才是 Hadoop 的最大用戶呢?首先想到的當然是它的“發源地”

    jopen 2012-07-12   41501   1
    Hadoop   ci   C/C++   Go   HTML  
    P23

      Hadoop 任務調度器-董西成 文檔

    Hadoop任務調度器演講人:董西成 技術博客:dongxicheng.org sina微博:西成懂 2. 提綱基礎知識 Hadoop調度流程 Hadoop自帶調度器介紹 編寫自己的Hadoop調度器

    gppxm 2012-10-19   6598   0
    P21

      云計算架構 Hadoop 文檔

    1. 云計算架構Hadoop為商業打開數據之門 2. 1Hadoop是什么?開源軟件工業標準硬件IT成本降低 3. 2 2004年,Google發表論文,向全世界介紹了MapReduce。 2005年

    altila 2012-06-12   745   0
    P230

      Hadoop之HBase從入門到精通 文檔

    ?HBASE從入門到精通 一、 HBase技術介紹 HBase簡介 HBase – Hadoop Database,是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統,利用HBase技術可在廉價PC

    ijamesbond 2015-03-17   6869   0

    Hadoop HDFS文件操作的Java代碼 經驗

    apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;

    jopen 2013-07-11   84118   0

    Hadoop批處理調度器 Azkaban 經驗

    Azkaban是個簡單的批處理調度器,用來構建和運行Hadoop作業或其他脫機過程。 項目主頁: http://www.baiduhome.net/lib/view/home/1339233539396

    openkk 2012-06-09   16216   0

    Hadoop五分鐘入門指南 經驗

    原文見: http://blog.josedacruz.com/2013/12/09/hadoop-in-5-minutes-for-beginners/#.Uqhs3_Q6Cjt 如果你有大量的

    jopen 2013-12-12   21448   0

    Hadoop集群監控工具:HTools 經驗

    HTools是一款專業的Hadoop管 理工具,不管您是非專業IT人士,還是多年經驗的技術人員,本工具都會為您提供優質的管理服務和輕松的操作過程, 釋放無謂的工作壓力,提高Hadoop的管理水平。我們以最

    jopen 2013-12-25   39788   0

    Hadoop中MapReduce框架入門 經驗

    le提出,主要用于搜索領域,解決海量數據的計算問題.對于業 界的大數據存儲及分布式處理系統來說Hadoop2提出的新MapReudce就是YARN: A framework for job scheduling

    jopen 2014-11-17   47213   0

    Hadoop數據傳輸工具:Sqoop 經驗

    Sqoop(SQL-to-Hadoop) 項目旨在協助 RDBMS 與 Hadoop 之間進行高效的大數據交流。用戶可以在 Sqoop 的幫助下,輕松地把關系型數據庫的數據導入到 Hadoop 與其相關的系統

    jopen 2014-12-02   18913   0

    Hadoop 2.x HDFS新特性 經驗

    Hadoop 2.x HDFS新特性 HDFS聯邦 HDFS HA(要用到zookeeper等,留在后面再講) HDFS快照 回顧: HDFS兩層模型 Namespace: 包

    jopen 2015-01-13   19497   0

    Hadoop初步體驗(安裝與測試) 經驗

    簡述:Hadoop是最著名使用最廣泛的分布式大數據處理框架,它是用Java開發的。 物理主機、虛擬機、虛擬主機這三個就不多說了。我們先在ubuntu里添加一個叫hadoop的用戶 ? 1:安裝jdk

    jopen 2015-02-13   14404   0
    1 2 3 4 5 6 7 8 9 10
  • sesese色