大數據架構概覽
來自: http://www.thebigdata.cn/JieJueFangAn/29071.html
Big Data非常復雜,涉及到的技術繁多。我們常“耳聞”的技術,如果MapReduce, Hadoop等處于哪一層次,下圖會給你一個整體印象。
圖片:databricks.jpg

下面是常見的技術簡介:
HBase :是一個分布式的、面向列的開源數據庫。其設計理念源自谷歌的 BigTable,用 Java 語言編寫而成。
MongoDB :是目前非常流行的一種非關系型(NoSQL)數據庫
YARN : 這是新一代的 MapReduce 計算框架,簡稱 MRv2,它是在第一代 MapReduce 的基礎上演變而來的
Spark :是一個基于內存計算的開源的集群計算系統,其目的在于,讓數據分析更加快速。Spark 是由加州大學伯克利分校的 AMP 實驗室采用 Scala 語言開發而成。Spark 的內存計算框架,適合各種迭代算法和交互式數據分析,能夠提升大數據處理的實時性和準確性,現已逐漸獲得很多企業的支持,如阿里巴巴、百度、網易、英特爾等公司均是其用戶。
原文:
https://www.linkedin.com/pulse/100-open-source-big-data-architecture-papers-anil-madan
</div> 本文由用戶 PattiMaes 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!