淺談云計算云計算總體架構IDC云虛擬桌面業務數據挖掘云端游戲網盤業務云端搜索呼叫中心云服務云端在線視頻M2M云服務IPTV云服務業務應用層協同辦公云統一通信云PaaS能力聚合與開放物聯網能力

引言《紐約時報》租用亞馬遜的云計算服務，使用基于云計算的開源軟件Hadoop，將其自1851年以來的1100萬份報道轉變成可搜索的數字化文檔，耗時僅一天。如果用傳統方法，這項工作可能要數月才能完成。最近興起的云計算甚至可以讓你體驗每秒10萬億次的運算能力，擁有這么強大的計算能力可以模擬核爆炸、預測氣候變化和市場發展趨勢。云計算——方便您的生活數據中心（多終端同步-透明）PC/筆記本客戶端瀏覽器PDA/手機/相機電子相冊電視運算中心拍出的相片立即編輯修改在線編寫文檔、報告隨時隨地寫日志隨時隨地的身體健康狀況監控云計算云——提供超大規模計算資源的服務器集群超大規模虛擬化（透明）云云計算的產生和演進計算能力的需求的增長并行計算、分布式計算和網格計算

云計算臧斌宇復旦大學何謂云計算？一種基于Internet網的計算服務模型云使用者:自由的使用資源和獲取信息云提供者:提供高效可靠的服務云構建者:構建服務平臺，整合計算資源云計算vs電力網LowVoltageHighVoltageWirelessEthernet多種接入設備，隨時隨地使用，按需付費，易管理，負載平衡，基礎設施多樣計算模型的變遷科學計算科研，軍用商用計算銀行，航空個人計算辦公，游戲互聯網計算搜索，電子商務.

目錄11.1云計算的起源1.2云計算的主流定義1.3云計算帶給我們的1.4云計算市場展望1.5云計算的發展推動力1.6云計算的優勢與挑戰什么是云計算云計算特征/模式/主流平臺國內運營商的云計算規劃附錄云計算的起源“它起源于我們將互聯網視為云的時候…我們不關心消息去往何處…云為我們屏蔽了復雜性”KevinMarks,Google“融合的云是對服務器，應用，數據，基礎設施的復雜性和異構平臺的簡化抽象”Amazon’sCEOJeffBezos云計算的理想

OSGi化歷程和JBoss的集成和Tomcat的集成啟動過程與Land的關系OSGi化歷程發生于HSFV1.4，歷經三個月才完成四大痛苦，不亞于重寫了一遍HSF帶來的好處模塊化，至少現在HSF要改造為core+extensions的結構是非常容易滴；

MapReduce是一個“與處理以及生成大量數據集相關聯的”程序模型。?用戶通過定義一個map函數，處理鍵值對以生成一個中間鍵值對的集合，?以及一個叫做reduce的函數用以合并所有先前map過后的有相同鍵的中間量。現實世界中的許多任務在這個模型中得到了很好的表達，如下文所述。??程序員用這種風格的程序寫出的代碼可以自動并行以及在商用機器上大規模地處理數據。運行時系統關注輸入數據的分區，通過一系列機器的集合來規劃程序的執行，處理程序失效以及把控必要的系統內部交互。

云計算引領新時代潮流2華為云平臺IDC解決方案3華為桌面云解決方案Page*面向IT轉型，發現新增長點新業務，新需求已有用戶業務需求日益多樣化中小企業需求導出”集中部署、按需取用“的新經營思路商業模式轉型提供基礎運營平臺，如AppStore模式，從自己開發業務到業務集成，從賣業務到賣能力引入互聯網的“游戲規則”，不僅前向收費，更需要后向收費模式網絡支撐通用硬件和操作系統的數據中心網絡平臺.

什么是云計算云計算是一種計算模式：把IT資源、數據、應用作為服務通過網絡提供給用戶云計算是一種基礎架構管理方法論：把大量的高度虛擬化的資源管理起來，組成一個大的資源池，用來統一提供服務.為什么需要云計算商業需求：降低IT成本、簡化IT管理和快速響應市場變化運營的需求：規范流程、降低成本、節約能源計算的需求：更大的數據量、更多的用戶技術的進步：虛擬化、多核、自動化、Web技術

在eclipse中閱讀源碼非常方便，利于我們平時的學習，下面講述如何把hadoop源碼導入到eclpse的java工程中。解壓源碼首先，我們在windows下使用winrar把hadoop-1.1.2.tar.gz解壓，如圖1所示圖1我們關注文件夾src，瀏覽該文件夾，如圖2所示圖2我們需要這三個文件夾，一會我們會把這三個文件夾復制到eclipse中。

ZooKeeper是一個高可用的分布式數據管理與系統協調框架。基于對Paxos算法的實現，使該框架保證了分布式環境中數據的強一致性，也正是基于這樣的特性，使得ZooKeeper解決很多分布式問題。網上對ZK的應用場景也有不少介紹，本文將結合作者身邊的項目例子，系統地對ZK的應用場景進行一個分門歸類的介紹。

Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的并行計算框架，Spark基于map reduce算法實現的分布式計算，擁有Hadoop MapReduce所具有的優點；但不同于MapReduce的是Job中間輸出和結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數據挖掘與機器學習等需要迭代的map reduce的算法。Spark被稱為“Hadoop的瑞士軍刀”，擁有非凡的速度和易用性。Spark立足于內存計算，相比Hadoop MapReduce，Spark在性能上要高100倍，而且Spark提供了比Hadoop更上層的API，同樣的算法在Spark中實現往往只有Hadoop的1/10或者1/100的長度。

Spark提供的數據集操作類型有很多種，不像Hadoop只提供了Map和Reduce兩種操作。比如map, filter, flatMap, sample, groupByKey, reduceByKey, union, join, cogroup, mapValues, sort,partionBy等多種操作類型，Spark把這些操作稱為Transformations。同時還提供Count, collect, reduce, lookup, save等多種actions操作。

Spark是基于內存的迭代計算框架，適用于需要多次操作特定數據集的應用場合。需要反復操作的次數越多，所需讀取的數據量越大，受益越大，數據量小但是計算密集度較大的場合，受益就相對較小 ◆ 由于RDD的特性，Spark不適用那種異步細粒度更新狀態的應用，例如web服務的存儲或者是增量的web爬蟲和索引。就是對于那種增量修改的應用模型不適合。

Cloudera Manager介紹和安裝ClouderaManager（簡稱CM）用于管理CDH4集群，可進行節點安裝、配置、服務配置等，提供Web窗口界面提高了Hadoop配置可見度，而且降低了集群參數設置的復雜度。

在所有節點編輯好host文件三個節點，先定義好主機名！！！！！這步很重要分別是hadoop1,hadoop2,hadoop32在所有節點上創建密鑰

使用Hive可以高效而又快速地編寫復雜的MapReduce查詢邏輯。但是某些情況下，因為不熟悉數據特性，或沒有遵循Hive的優化約定，Hive計算任務會變得非常低效，甚至無法得到結果。一個”好”的Hive程序仍然需要對Hive運行機制有深入的了解。

1．訪問透明性是指對不同數據表示形式以及資源訪問方式的隱藏。而位置透明是用戶無法判別資源在系統中的物理位置。2.遷移透明性是指分布式系統中的資源移動不會影響該資源的訪問方式。而復制透明是指對同一個資源存在多個副本的隱藏。3.一個開放的分布式系統就是根據一系列準則來提供服務，這些準則描述了所提供服務的語法和語義。

Hadoop是一個分布式的計算平臺。 Hadoop primarily consists of the Hadoop Distributed FileSystem (HDFS) and an implementation of the Map-Reduce programming paradigm.<br> Hadoop is a software framework that lets one easily write and run applications that process vast amounts of data. Here's what makes Hadoop especially useful:<br> 可擴展: Hadoop can reliably store and process petabytes. 廉價: It distributes the data and processing across clusters of commonly available computers. These clusters can number into the thousands of nodes. <br> 高效: By distributing the data, Hadoop can process it in parallel on the nodes where the data is located. This makes it extremely rapid. <br> 可靠: Hadoop automatically maintains multiple copies of data and automatically redeploys computing tasks based on failures.

Hadoop正是為了解決互聯網時代的海量數據存儲和處理而設計、開發的。簡單地講，Hadoop是一個可以更容易開發和并行處理大規模數據的分布式計算平臺 Hadoop的核心框架包括兩個部分：HDFS 和Mapreduce；HDFS（即Hadoop Distributed System的縮寫）是分布式計算的基石，而Mapreduce是任務的分解和結果的匯總。簡單的說，Map就是 將一個任務分解成 為多個任務，而Reduce就是將分解后多任務處理的結果匯總起來得出最后的結果；HDFS是一個與其它文件系統類似的，對于整個集群有單一的命名空間，文件被分割為多塊分配存儲到數據節點上的一個系統。

此文檔是用戶使用Hadoop集群或普通單機分布式文件存儲系統（HDFS）開展工作的起點，盡管HDFS被設計成適應于許多環境，有用的HDFS知識能大大幫助我們優化配置及診斷具體集群的問題。HDFS是Hadoop應用使用的主要分布式存儲器，HDFS集群主要由管理文件系統元數據的NameNode（名稱節點）和存儲實際數據的DataNode（數據節點）組成。HDFS架構指南詳細途述了HDFS。這個用戶指南主要針對活動和管理的HDFS集群用戶。HDFS架構圖描述了NameNode、DataNode和客戶端基本的相互作用。客戶端通過NameNode取得文件的元數據和修改（狀態或記錄）然后實際執行I/O操作直接使用DataNode。