大數據與Hadoop之間是什么關系?

pm45e 9年前發布 | 32K 次閱讀 Hadoop 分布式/云計算/大數據
 

大數據在近些年來越來越火熱,人們在提到大數據遇到了很多相關概念上的問題,比如云計算、 Hadoop等等。那么,大數據是什么、Hadoop是什么,大數據和Hadoop有什么關系呢?

大數據概念早在1980年,著名未來學家阿爾文·托夫勒提出的概念。2009年美國互聯網數據中心證實大數據時代的來臨。隨著谷歌 MapReduce和 GoogleFile System (GFS)的發布,大數據不再僅用來描述大量的數據,還涵蓋了處理數據的速度。目前定義:大數據(big data),或稱巨量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟件工具在合理時間內獲取、管理、處理、并整理為幫助企業經營決策。

大數據目前分為四大塊:大數據技術、大數據工程、大數據科學和大數據應用。其中云計算是屬于大數據技術的范疇,是一種通過Internet以服務 的方式提供動態可伸縮的虛擬化的資源的計算模式。那么這種計算模式如何實現呢,Hadoop的來臨解決了這個問題,Hadoop是Apache(阿帕切) 的一個開源項目,它是一個對大量數據進行分布式處理的軟件架構,在這個架構下組織的成員HDFS(Hadoop分布式文件系統),MapReduce、 Hbase 、Zookeeper(一個針對大型分布式系統的可靠協調系統),hive(基于Hadoop的一個數據倉庫工具)等。

1.云計算屬于大數據中的大數據技術范疇。

2.云計算包含大數據。

3.云和大數據是兩個領域。

云計算是指利用由大量計算節點構成的可動態調整的虛擬化計算資源,通過并行化和分布式計算技術,實現業務質量的可控的大數據處理的計算技術。而作 為云計算技術中的佼佼者,Hadoop以其低成本和高效率的特性贏得了市場的認可。Hadoop項目名稱來源于創立者Doung Cutting兒子的一個玩具,一頭黃色的大象。

大數據與Hadoop之間是什么關系?

Hadoop項目的目標是建立一個可擴展開源軟件框架,能夠對大數據進行可靠的分布式處理。

Hadoop的框架最核心的設計就是:HDFS和MapReduce。HDFS為海量的數據提供了存儲,則MapReduce為海量的數據提供了計算。HDFS是一個分布式文件系統,具有低成本、高可靠性性、高吞吐量的特點。MapReduce是一個變成模型和軟件框架。

簡單理解,Hadoop是一個開源的大數據分析軟件,或者說編程模式。它是通過分布式的方式處理大數據的,因為開元的原因現在很多的企業或多或少 的在運用hadoop的技術來解決一些大數據的問題,在數據倉庫方面hadoop是非常強大的。但在數據集市以及實時的分析展現層面,hadoop也有著 明顯的不足,現在一個比較好的解決方案是架設hadoop的數據倉庫而數據集市以及實時分析展現層面使用永洪科技的大數據產品,能夠很好地解決 hadoop 的分時間長以及其他的問題。

Hadoop大數據技術案例

讓Hadoop和其他大數據技術如此引人注目的部分原因是,他們讓企業找到問題的答案,而在此之前他們甚至不知道問題是什么。這可能會產生引出新 產品的想法,或者幫助確定改善運營效率的方法。不過,也有一些已經明確的大數據用例,無論是互聯網巨頭如谷歌,非死book和LinkedIn還是更 多的傳統企業。它們包括:

情感分析: Hadoop與先進的文本分析工具結合,分析社會化媒體和社交網絡發布的非結構化的文本,包括Tweets和非死book,以確定用戶對特定公司,品牌或產品的情緒。分析既可以專注于宏觀層面的情緒,也可以細分到個人用戶的情緒。

風險建模: 財務公司、銀行等公司使用Hadoop和下一代數據倉庫分析大量交易數據,以確定金融資產的風險,模擬市場行為為潛在的“假設”方案做準備,并根據風險為潛在客戶打分。

欺詐檢測: 金融公司、零售商等使用大數據技術將客戶行為與歷史交易數據結合來檢測欺詐行為。例如,信用卡公司使用大數據技術識別可能的被盜卡的交易行為。

客戶流失分析: 企業使用Hadoop和大數據技術分析客戶行為數據并確定分析模型,該模型指出哪些客戶最有可能流向存在競爭關系的供應商或服務商。企業就能采取最有效的措施挽留欲流失客戶。

用戶體驗分析: 面向消費者的企業使用Hadoop和其他大數據技術將之前單一 客戶互動渠道(如呼叫中心,網上聊天,微博等)數據整合在一起, 以獲得對客戶體驗的完整視圖。這使企業能夠了解客戶交互渠道之間的相互影響,從而優化整個客戶生命周期的用戶體驗。

當然,上述這些都只是大數據用例的舉例。事實上,在所有企業中大數據最引人注目的用例可能尚未被發現。這就是大數據的希望。

 本文由用戶 pm45e 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!