摘要： 說到處理大規模數據，R、Python、Scala和Java基本上都能滿足你的要求。

2016年QCon全球軟件開發大會北京站 于4.21-4.23在北京國際會議中心舉辦，參會者對整體內容設置及安排反饋良好。這里我們梳理出了22號“大數據生態構建”廠商共建專場的重點演講內容，為沒...

本文將要介紹如何應用 OpenStack 中 Host Aggregates 的機制來更為有效地分配 nova computes 節點上的硬件資源，從而達到 OpenStack 的用戶能夠合理地...

楊尚剛，美圖公司數據庫高級DBA，負責美圖后端數據存儲平臺建設和架構設計。前新浪高級數據庫工程師，負責新浪微博核心數據庫架構改造優化，以及數據庫相關的服務器存儲選型設計。

分為Administrator和Development兩門課程 運維事故

最近在對已有的大數據采集和數據集成工具進行梳理，并考慮進行相關的產品整合工作，經過對已有的產品的測試和驗證，已經實際需要的業務場景，初步考慮清楚后續需要進行新增和完善部分的內容。

大數據不再像過去幾年一樣，受限于工具缺乏的問題。那時候搞大數據意味著團隊里必須有數據科學家，還會被R和Hadoop之類的開源工具搞得心煩意亂。現在許多公司在大數據分析中最頭疼的問題，其實是如何獲取數據。

云計算也許并不是盡善盡美，但不可否認的是總有一種方式適合你。首先我想要說，未來大多數企業都會從具體的機房遷移出來。雖然你企業中并不是所有負載系統都適合云計算，但是大多數公司可以而且應該采用云計算。

編者注： 原文是 FirstMark Capital 的 Matt Turck 的 文章 。本文全面總結了大數據領域的發展態勢，分析認為盡管大數據作為一個術語似乎已經過氣，但是大數據分析與應用才...

總結一下我讀過的機器學習/數據挖掘/數據分析方面的書，有的適合入門，有的適合進階，沒有按照層次排列，先總結一下，等總結的差不多了再根據入門--->進階分塊寫。下面列的書基本上我寫的都是讀完過的，...

之前寫過一篇文章， 如何提高ElasticSearch 索引速度 。除了對ES本身的優化以外，我現在大體思路是盡量將邏輯外移到Spark上,Spark的分布式計算能力強，cpu密集型的很適合。這...

niubi-job是一款專門針對定時任務所設計的分布式任務調度框架，它可以進行動態發布任務，并且有超高的可用性保證。

自從相關工具創建以來，我們一直通過對海量的隨機數據執行排序來測試MapReduce。這種方式很受歡迎，因為生成任意數量的數據非常簡單，想要驗證輸出結果是否正確也很簡單。

OpenStack遵循這樣的設計原則，“不要重復發明輪子”，即對已實現的功能，開發者直接拿來用即可。這一設計原則最終形成了一個由專門團隊維護的Oslo——OpenStack公共庫，實現硬件、操作...

美團是數據驅動的互聯網服務，用戶每天在美團上的點擊、瀏覽、下單支付行為都會產生海量的日志，這些日志數據將被匯總處理、分析、挖掘與學習，為美團的各種推薦、搜索系統甚至公司戰略目標制定提供數據支持。...

消息隊列中間件是分布式系統中重要的組件，主要解決應用耦合，異步消息，流量削鋒等問題。實現高性能，高可用，可伸縮和最終一致性架構。是大型分布式系統不可缺少的中間件。

由于有些物理集群處于不同的地點，或者某一些物理集群規模太大，就需要創建多個openstack集群對其進行管理。而每個openstack集群是單獨管理的，這就導致管理入口太多，不方便統一管理。那么...

前言 在移動互聯網時代，企業需要尋找新的軟件交付流程和IT架構，從而實現架構平臺化，交付持續化，業務服務化。容器將成為新一代應用的標準交付件，容器云將幫助企業用戶構建研發流程和云平臺基礎設施，縮...

因為在Spark的MLlib模塊中只有MF算法，文章之后會講述如何使用Matrix Factorization來做相關的推薦。

1.MapReduce作業運行流程 下面貼出我用visio2010畫出的流程示意圖：