使用 Azure、Hadoop 和 Mahout 構建一個推薦系統

Apache Sentry 是一個高度模塊化的系統。它為存儲在Apache Hadoop集群中的數據和元數據提供了細粒度的、基于角色的認證功能。

淘寶Hadoop作業平臺宙斯(zeus)開源啦！一站式作業平臺，分布式設計，集中式管理，云一般的服務。功能與交互的深度契合。一切只為提供絕佳的用戶體驗。宙斯不僅僅是開源技術，更是開源一個融入了我們設計理念的產品。

1、集群啟動的時候，從節點的datanode沒有啟動 問題原因：從節點的tmp/data下的配置文件中的clusterID與主節點的tmp/data下的配置文件中的clusterID不一致，導致集群啟動時，hadoop會殺死從節點的datanode進程。

MapReduce是一種分布式計算模型，由Google提出，主要用于搜索領域，解決海量數據的計算問題。 MR由兩個階段組成：Map和Reduce，用戶只需要實現map()和reduce()兩個函數，即可實現分布式計算，非常簡單。這兩個函數的形參是key、value對，表示函數的輸入信息。

Apache Calcite是面向Hadoop新的查詢引擎，它提供了標準的SQL語言、多種查詢優化和連接各種數據源的能力，除此之外，Calcite還提供了OLAP和流處理的查詢引擎。正是有了這些諸多特性，Calcite項目在Hadoop中越來越引入注目，并被眾多項目集成。

hadoop2.6.0 在64位CentOS 6.4系統上的編譯：直接使用官網上下載的hadoop2.6.0在運行時候經常都會遇到WARN util.NativeCodeLoader: Unable to load ...

Apache Ambari是一種基于Web的工具，支持Apache Hadoop集群的供應、管理和監控。Ambari目前已支持大多數Hadoop組件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

眾所周知，大數據正在以驚人的速度增長，幾乎觸及各行各業，許多組織都被迫尋找新的創造性方法來管理和控制如此龐大的數據，當然這么做的目的不只是管理和控制數據，而是要分析和挖掘其中的價值，來促進業務的發展。

Sqoop是一個用來將Hadoop和關系型數據庫中的數據相互轉移的工具，可以將一個關系型數據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導入到Hadoop的HDFS中，也可以將HDFS的數據導入到關系型數據庫中。

全球虛擬化和云基礎架構領導廠商VMware公司今天公布了最新開源項目 - Serengeti，支持企業能夠在 虛擬和云環境中快速部署、管理和擴展Apache Hadoop。此外，VMware與Apache Hadoop社區共同合作研發擴展功能，讓主要組件可以“感知虛擬化”以支持靈活擴展，并進一步提高Hadoop在虛擬化環境中的性能。

本講座討論了Hadoop的HBase和Hive在現實世界中的生產用例。每個系統的特點，解釋他們如何可以一起使用，以及建立大規模數據基礎設施的實時應用程序和數據倉庫之間的糊模界線。

　Hortonworks 公司，由 Yahoo!和 Benchmark Capital 于2011年7月聯合創建，宣布了一款基于 Hadoop 的數據平臺的技術預覽版。該公司雇傭了眾多 Hadoop 項目的核心人員欲以提供相應的支持和培訓。

8月5日消息，據國外媒體報道，隨著Apache Hadoop在數據分析領域逐漸得到認可，戴爾開始出售預裝該開源數據處理平臺的服務器。 　　戴爾云營銷總監Joseph George指出，該產品包基于用戶反饋設計，因為很多戴爾商務用戶都已經在使用或考慮使用Hadoop，這將成為標準，而公司也已經為此進行硬件基礎架構設計調整。

“你有多少大數據和 Hadoop 的經驗？”他們問我。我一直在用 Hadoop，但很少處理幾 TB 以上的任務。我基本上只是一個大數據新手——知道概念，寫過代碼，但是沒有大規模經驗。

據 Gigaom 消息，Hadoop 軟件供應商 Hortonworks 獲得 1 億美金 D 輪融資，由黑石領投，雅虎、Benchmark 等參投。目前 Hortonworks 的總融資已達到 1.98 億美元。

Infovore是一個 map/reduce 框架用于處理 RDF大數據集比如 Freebase 和 DBpedia。它基于Hadoop實現。

開源大數據框架Apache Hadoop已經成了大數據處理的事實標準，同時也幾乎成了大數據的代名詞，雖然這多少有些以偏概全。 根據Gartner的估計，目前的Hadoop生態系統市場規模在7700萬美元左右，2016年，該市場規模將快速增長至8.13億美元。

繼“ YARN or Mesos？Spark痛點探討 ”、“ Mesos資源調度與管理的深入分享與交流 ”、及“ 主流SQL on Hadoop框架選擇 ”之后，CSDN Spark微信用戶群邀請了王團結為大家分享Hadoop/Spark在七牛數據平臺的實戰。 王團結 ， 七牛 數據平臺工程師，主要負責數據平臺的設計研發工作。關注大數據處理，高性能系統服務，關注Hadoop、Flume、Kafka、Spark等離線、分布式計算技術。

說到處理大數據的工具，普通的開源解決方案(尤其是Apache Hadoop)堪稱中流砥柱。弗雷斯特調研公司的分析師Mike Gualtieri最近預測，在接下來幾年，“100%的大公司”會采用Hadoop。Market Research的一份報告預測，到2011年，Hadoop市場會以58%的年復合增長率(CAGR)高速增長;到2020年，市場產值會超過10億美 元。IBM更是非常看好開源大數據工具，派出了3500名研究人員開發Apache Spark，這個工具是Hadoop生態系統的一部分。