為什么 Cloudera 要創建 Hadoop 安全組件 Sentry ？

接下來有可能會用到Hadoop相關的知識, 所以這幾天就在Vmware里面嘗試著搭建了一下. 感覺還行. 所以趁著還記得, 就寫下這篇博客, 幫助自己以后回顧, 也幫助那些準備接觸Hadoop的童鞋. 因為這也是自己第一次搭建Hadoop.

Windows下編譯hadoop_eclipse插件步驟.

Hadoop的兩種開發模式 一、一種是脫離集群環境的開發： 那么什么是脫離集群環境開發，因為集群也是有一個Java環境的。如果我們編寫程序，脫離了集群，那么就是脫離集群開發。

Hadoop，ZooKeeper，HBase分布式搭建前提準備注：hbase的安裝需要hadoop和zookeeper和hbase，生產環境下需要將zookeeper獨立安裝，hbase軟件選擇cloudera的cdh3u0，這樣不會出現版本不兼容等問題。apache的版本需要重新編譯hadoop0.20.2-appender版以保證沒有數據丟失。1、機器集群結構分布使用8臺曙光服務器搭建集群，ip為*.*.83.1-8，hostname為hadoop-node1到hadoop-node8

Hadoop練習—MapReduce進行數據查詢和實現推簡單薦系統1??運行環境說明1.1?硬軟件環境1.2?機器網絡環境2??書面作業1：計算員工相關2.1?書面作業1內容2.2??實現過程2.2.1? 準備測試數據2.2.2 問題1：求各個部門的總工資2.2.3???問題2：求各個部門的人數和平均工資2.2.4???問題3：求每個部門最早進入公司的員工姓名2.2.5???問題4：求各個城市的員工的總工資2.2.6???問題5：列出工資比上司高的員工姓名及其工資2.2.7???問題6：列出工資比公司平均工資要高的員工姓名及其工資2.2.8???問題7：列出名字以J開頭的員工姓名及其所屬部門名稱

Hadoop提供了一個穩定的共享存儲和分析系統。存儲由HDFS實現，分析由MapReduce實現。縱然Hadoop還有其他功能，但這些功能是它的核心所在。

頂級Apache開源項目Hadoop發布了1.0.0版。 Hadoop是前雅虎開發者Doug Cutting開發的分布式計算平臺。 Hadoop 是一個能夠對大量數據進行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。

10月18日，來自國外媒體的報道，高性能計算機系統提供商SGI宣布計劃提供運行Hadoop數據分析平臺的集群。SGI Hadoop集群將完全支持Cloudera的發行版，包括 Apache Hadoop (CDH)在SGI的機架式服務器產品線之上。SGI加入了＂Cloudera 連接伙伴程序＂中，將提供專線電話回答客戶關于SGI硬件或者Hadoop的相關問題。

Microsoft 在去年 10 月西雅圖舉行的 SQL PASS 2011 峰會上宣布將與從 Yahoo 分拆出來的 Hortonworks 合作開發，旨在實現 Windows Server 和 Windows Azure 平臺之上的 Hadoop。Microsoft 官方將未來支持 Windows Azure 和 Windows Server 的 Hadoop 框架的產品套件的代號定義為“Isotope”。

毫無疑問，大數據成了 2012 年的熱門詞。根據國外統計機構的報告，大數據處理在今年的市場規模已經達到 700 億美元并且正以每年 15-20% 的速度增長。幾乎所有主要的大科技公司都對大數據感興趣，對該領域的產品及服務進行了大量投入。

另一個來自Google的重要工具，看起來超越了Hadoop MR——Pregel框架實現了圖形計算（Malewicez et al.2010）。在Pregel中的計算是由一系列迭代組成的，被稱為supersteps。圖上的每個頂點都與一個用戶定義的計算函數相關 聯；Pregel確保每個superstep在圖的每條邊上并發調用用戶定義的計算函數。頂點可通過邊發送消息，并且頂點間可交換值。

出身名門雅虎的Hortonworks擁有許多優秀的Hadoop架構師與源代碼的貢獻者，它們為Apache Hadoop項目貢獻了超過80%的源代碼。隨著各種Hadoop發行版的涌現，Hortonworks如何能一枝獨秀，堅持自己百分之百的開源路線呢? 本期IT名人堂嘉賓，我們在2015中國Hadoop技術峰會上，邀請到了Hortonworks的 CTO Jeff，對他進行了獨家視頻訪談。

Hue 3.7 發布，此版本包括新的 Sentry App 和 Search App 改進。

　　開源數據處理平臺 Hadoop 在大數據時代的今天有著非常廣泛的應用。著名的大象圖標遍布各行各業，從醫療記錄到銀行交易，從車票預定到房屋租賃，乃至很多科學數據處理，都可以見到 Hadoop 的身影。

說到處理大數據的工具，普通的開源解決方案（尤其是Apache Hadoop）堪稱中流砥柱。弗雷斯特調研公司的分析師Mike Gualtieri最近預測，在接下來幾年，“100%的大公司”會采用Hadoop。Market Research的一份報告預測，到2011年，Hadoop市場會以58%的年復合增長率（CAGR）高速增長；到2020年，市場產值會超過10億美元。IBM更是非常看好開源大數據工具，派出了3500名研究人員開發Apache Spark，這個工具是Hadoop生態系統的一部分。

Sqoop是一個用來將Hadoop和關系型數據庫中的數據相互轉移的工具，可以將一個關系型數據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導入到Hadoop的HDFS中，也可以將HDFS的數據導入到關系型數據庫中。

R是GNU的一個開源工具，具有S語言血統，擅長 統計 計算和 統計 制圖。由Revolution Analytics發起的一個開源項目RHadoop將R語言與Hadoop結合在一起，很好發揮了R語言特長。廣大R語言愛好者借助強大工具RHadoop，可以在 大數據 領域大展拳腳，這對R語言程序員來說無疑是個喜訊。作者從一個程序員的角度對R語言和Hadoop做了一次詳細的講解。

Apache Kudu 0.7.0 發布，該項目目前是 Apache 基金會的孵化項目，這也是加入 Apache 孵化器后的首個發布的版本。該版本包含眾多的新特性和改進，詳細介紹請看發行說明。

近日，谷歌 發布 了Google Cloud Dataproc服務Beta測試版。Cloud Dataproc是一個托管的Spark與Hadoop服務，可以幫助用戶快速創建集群、簡化集群管理及降低使用成本。借助該服務，用戶無需考慮部署、擴展、監控等管理工作，可以將全部精力都集中到數據處理上。