Mahout是Apache下的開源機器學習軟件包，目前實現的機器學習算法主要包含有協同過濾/推薦引擎，聚類和分類三 個部分。Mahout從設計開始就旨在建立可擴展的機器學習軟件包，用于處理大數據機器學習的問題，當你正在研究的數據量大到不能在一臺機器上運行時，就 可以選擇使用Mahout，讓你的數據在Hadoop集群的進行分析。Mahout某些部分的實現直接創建在Hadoop之上，這就使得其具有進行大數據 處理的能力，也是Mahout最大的優勢所在。相比較于Weka，RapidMiner等 圖形化的機器學習軟件，Mahout只提供機器學習的程序包（library），不提供用戶圖形界面，并且Mahout并不包含所有的機器學習算法實現， 這一點可以算得上是她的一個劣勢，但前面提到過Mahout并不是“又一個機器學習軟件”，而是要成為一個“可擴展的用于處理大數據的機器學習軟件”，但 是我相信會有越來越多的機器學習算法會在Mahout上面實現。[

大數據我們都知道hadoop，可是還會各種各樣的技術進入我們的視野：Spark，Storm，impala，讓我們都反映不過來。為了能夠更好 的架構大數據項目，這里整理一下，供技術人員，項目經理，架構師選擇合適的技術，了解大數據各種技術之間的關系，選擇合適的語言。

Hadoop2.3.0的分布式集群搭建圖文

Apache Tez是基于Hadoop Yarn之上的DAG（有向無環圖，Directed Acyclic Graph）計算框架。它把Map/Reduce過程拆分成若干個子過程

同時支持內存和CPU兩種資源的調度（默認只支持內存，如果想進一步調度CPU，需要自己進行一些配置），本文將介紹Hadoop YARN是如何對這些資源進行調度和隔離的。

對于hadoop HDFS 中的所有命令進行解析

云平臺hadoop搭建以及wordcount實例運行：我的第一篇博客，希望大家能夠看懂！ hadoop是大數據處理的平臺，是基于linux系統下的，在windows安裝

十八款Hadoop工具幫你馴服大數據：Hadoop已經通過自身的蓬勃發展證明，它不僅僅是一套用于將工作內容傳播到計算機群組當中的小型堆棧--不，...

Hadoop分布式文件系統(HDFS)是一種被設計成適合運行在通用硬件上的分布式文件系統。HDFS是一個高度容錯性的系統，適合部署在廉價的 機器上。它能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。要理解HDFS的內部工作原理，首先要理解什么是分布式文件系統。

量化派是一家金融大數據公司，為金融機構提供數據服務和技術支持，也通過旗下產品“信用錢包”幫助個人用戶展示經濟財務等狀況，撮合金融機構為用 戶提供最優質的貸款服務。金融的本質是風險和流動性，但是目前中國對于個人方面的征信行業發展落后于歐美國家，個人消費金融的需求沒有得到很好的滿足。按 照央行最新數據，目前央行征信中心的數據覆蓋人口達到8億人[1]，但其中有實際征信記錄的只有3億人左右，有5億人在征信系統中只是一個身份證號碼。

那既然有了HBase，為什么還需要Kudu呢，簡單的說，就是嫌棄HBase在OLAP場合，SQL／MR類的批量檢索場景中，性能不夠好。通常這種海量數據OLAP場景，要不走預處理的路，比如像EBAY麒麟這樣走Cube管理的，或者像谷歌Mesa這樣按業務需求走預定義聚合操作。再有就是自己構建數據通道，串接實時和批量處理兩種系統，發揮各自的特長。

【hadoop 2.7.1 】動態添加節點、刪除節點：hftest0001 hftest0002 hftest0003 一、動態添加節點 hftest0001 (master node ) [hadoop@hftest0001?h...

摘要：最近也是剛剛入門hadoop，配置環境就折騰了很久，在網上也查看了給位大神的帖子，從中也學到 了很多東西，但是很多都是比較雜，在這里我就貼出我配置的一些心得，望各位指教。

Sqoop是一個Hadoop的周邊工具，它的主要作用是在結構化數據存儲與Hadoop之間進行數據交換，通過Sqoop，你可以批量將你關系型數據庫中的數據導入到Hadoop中，也可以將Hadoop中的數據導出到其它結構化存儲中。

如果你是世界上廣大 Hadoop 用戶的一員，你肯定知道 Google 曾經靠著分布式計算技術（Hadoop），在搜索引擎和廣告方面取得了舉世矚目的成就。現在的 Hadoop 不僅是當年的老二 Yahoo 的專用產品了，從 Hadoop 長長的用戶名單中，可以看到 Facebook, 可以看到 Linkedin，可以看到 Amazon，可以看到 EMC, eBay，Tweeter，IBM, Microsoft, Apple, HP…。

Dataguise最近發布了Hadoop十大數據安全措施，內容涵蓋隱私風險、數據管理和信息安全等，可以幫助專業人士降低大數據應用的潛在數據泄漏和政策違規等風險，對于那些考慮部署Hadoop的企業來說非常值得參考。

MySQL 復制操作可以將數據從一個 MySQL 服務器（主）復制到其他的一個或多個 MySQL 服務器（從）。試想一下，如果從服務器不再局限為一個 MySQL 服務器，而是其他任何數據庫服務器或平臺，并且復制事件要求實時進行，是否可以實現呢？

拖了5天終于看完了兩篇論文，對相關數據分析平臺搭建技術也有了進一步的了解。對自己這幾天的筆記做了一個整理，既是為了方便自己以后查看，也是為以后的實際平臺搭建建立依據。其實感覺還是挺苦逼的，這大過年的親戚都坐在旁邊包餃子，而我……還在為自己的拖延癥買單。

0.上傳日志文件到linux中，通過flume將文件收集到hdfs中。

Hadoop已經通過自身的蓬勃發展證明，它不僅僅是一套用于將工作內容傳播到計算機群組當中的小型堆棧--不，這與它的潛能相比簡直微不足道。 這套核心的價值已經被廣泛證實，目前大量項目如雨后春筍般圍繞它建立起來。有些項目負責數據管理、有些負責流程監控、還有一些則提供先進的數據存儲機制。