Ceph概述Ceph是一種為優秀的性能、可靠性和可擴展性而設計的統一的、分布式的存儲系統可輕松擴展到數PB容量對多種工作負載的高性能（每秒輸入/輸出操作[IOPS]和帶寬）高可靠性支持對象存儲，文件系統，塊存儲Ceph系統的層次結構最底層的RADOS就對應Ceph?Storage?Cluster，?然后就是LIBRADOS，這可以當成是訪問RADOS的一個庫。用戶可以利用這個庫開發自己的客戶端應用；Ceph提供的對象存儲（RADOSGW）、塊設備（RBD）、文件系統（CEPHFS）也都是基于這個庫完成的。

J2EE架構經典實現：一般來說我們會使用Structs/WebWork+Spring+Hibernate/iBitas 來進行實現，.NET架構基本也是如此；并且會引入相應的Ajax框架（例如YUI,DOJO,EXTJS,GWT,PROTYPE etc). 一種改良實現：UI(用戶界面邏輯）采用php/asp.net/flex/html5進行開發，業務邏輯層和數據訪問層采用JAVA進行開發。UI(用戶界面邏輯）層與業務邏輯層采用REST WebService進行集成。

Hadoop 是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統中的數據。

基于AWS云平臺構建支撐千萬級用戶的應用。亞馬遜云計算高級架構師DavyWang云計算不是有彈性嗎？彈性的確是云計算的一個重要特性AWS云平臺也提供AutoScaling功能來幫助用戶實現彈性伸縮但是，應用服務的彈性伸縮需要良好的設計應用的架構使用的服務類型我們以典型的Web應用為例…第一階段：從一個用戶開始…一個EC2實例安裝了所有相關軟件堆棧Web應用數據庫管理等一個EIPDNS服務：Route53最簡單的擴展：換個更大的機器可以使用PIOPS高I/O實例高內存實例高CPU實例高存儲實例。

目錄京東大數據平臺介紹實時數據平臺背景實時數據平臺解決方案關鍵環節詳解關于平臺產品化京東大數據平臺定位支撐全集團數據業務全集團數據集中自助式服務平臺模式京東大數據平臺發展歷程---技術選型2011年之前2011~20122012~至今京東大數據平臺發展歷程---技術選型傳統商業數據倉庫解決方案弊端高復雜度計算任務并發性差海量數據處理能力不足存儲能力有限擴展性差成本高后期遇到的問題越來越多的ETL任務需要12點后才能完成任務排隊現象嚴重基于流量等大數據量的批量計算和復雜推薦類算法基本無法應付存儲達到上限，需不斷轉移歷史數據京東大數據平臺發展歷程

SDK的教訓控制、控制控制SDK大小SDK模塊化設計，不同功能可以自行組合控制數據包大小使用二進制數據包格式，thrift再控制控制與服務端交互策略多種發送模式，滿足實際業務需求數據包去重，多重校驗SDK端按規則調整+服務端動態控制服務系統的教訓需求驅動是最合適的演進方向！快速迭代意味著取舍選擇

什么是云計算？什么是云計算平臺任務調度系統？有哪些任務？看看有哪些要求需要滿足？響應要快要看進度成功率高要穩定得安全速度快處理速度快多任務并行反饋結果要怎么設計？看看有哪些要求需要滿足？不能中斷業務不能影響操作操作簡單結果易確認能回滾能轉移業務有檢查接口能回退要怎么設計？

搭建NFS服務端操作系統版本：RedHat Enterprise Linux Server release6.4(Santiago)

數據挖掘與計算大綱問題背景CPU資源傾斜問題源數據傾斜問題小結淘寶技術部-數據挖掘與計算問題背景Spark Streaming在淘寶！雙122013.12.12雙112014.11.11雙122014.12.12 SparkStreaming商品推薦店鋪推薦行業個性化推薦…淘寶技術部-數據挖掘與計算問題背景使用過程中我們經常碰到：內存還剩很多，CPU資源缺消耗殆盡，造成作業無法提交任務的數據本地化有時候會很差，數據需要進行網絡間的遷移CPU資源利用率問題源數據的傾斜問題淘寶技術部-數據挖掘與計算問題

介紹實時數據平臺背景實時數據平臺解決方案關鍵環節詳解關于平臺產品化京東大數據平臺定位支撐全集團數據業務全集團數據集中自助式服務平臺模式京東大數據平臺發展歷程---技術選型2011年之前2011~20122012~至今京東大數據平臺發展歷程---技術選型傳統商業數據倉庫解決方案弊端高復雜度計算任務并發性差海量數據處理能力不足存儲能力有限擴展性差成本高后期遇到的問題越來越多的ETL任務需要12點后才能完成任務排隊現象嚴重基于流量等大數據量的批量計算和復雜推薦類算法基本無法應付存儲達到上限，需不斷轉移歷史數據京東大數據平臺發展歷程

大數據的十個技術前沿

關注沉淀的數據和實體來源的數據案例分享乘法效應+外部效應健康醫療腫瘤研究云服務ERPSaaS實體行業推廣的問題小結基礎設施人才技術數據困境數據的困境局部全局隱私統計特征價值定向瞄準基礎設施的困境集中vs.分散擁有權和使用權回報效益的決定性因素、漸進式研究基于去隱私化的技術對數據分析算法和平臺的重構數據服務穩定持續的數據服務提供平臺工作分享——DataCoffeehouse可信任云平臺建設數據分享和數據分析平臺建設可信任云平臺的目標問題安全信任問題是

企業應用互聯網應用大數據互聯網時代－企業面臨新挑戰彈性可靠性安全性快速交付Cloudbursting資源、服務彈性企業應用需要彈性嗎？企業資源利用率如何？如何構建一體化的混合云架構傳統IT私有云混合云公有云混合云VDCVDC可靠性安全性快速交付彈性企業應用挑戰－軟件架構彌補硬件不足如何讓數據變得可靠MasterChunk存儲文件元信息(內存)存儲文件實際數據寫入摘要信息獲取多個不同機架的ChunkServer（磁盤利用率低者優先）連接主副本主副本向其他副本同步（減少客戶端流量）主副本數據可靠一定是通過數據冗余來實現的后臺巡檢心跳在虛擬目錄上存儲元信息

eclipse開發環境配置安裝開發hadoop插件將hadoop安裝包hadoop\contrib\eclipse-plugin\hadoop--eclipse-plugin.jar拷貝到eclipse的插件目錄plugins下。 需要注意的是插件版本（及后面開發導入的所有jar包）與運行的hadoop一致，否則可能會出現EOFException異常。

由于現在hadoop2.0還處于beta版本，在apache官方網站上發布的beta版本中只有編譯好的32bit可用，如果你直接下載安裝在64bit的linux系統的機器上，運行會報一個INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的錯誤，但在實際測試中是可以正常安裝并可以運行自帶的wordcont例子，所以這 個錯誤不會導致hadoop2.1.0的安裝和運行失敗，此錯誤引起原因是由于鑒于性能問題以及某些Java類庫的缺失，對于某些組件，Hadoop提供 了自己的本地實現。 這些組件保存在Hadoop的一個獨立的動態鏈接的庫里。這個庫在*nix平臺上叫libhadoop.so，此文件在發行的hadoop版本 lib/native目錄下。

環境：Win7系統裝虛擬機虛擬機VMware-workstation-full-9.0.0-812388.exeLinux系統Ubuntu12.0.4JDKjdk-7u17-linux-i586.tar.gz搭建步驟：首先在win系統裝虛擬機，執行VMware-workstation-full-9.0.0-812388.exe；其次需要在虛擬機上裝Ubuntu12.0.4；安裝完成Ubuntu12.0.4之后，需要安裝JDK，(注意：安裝JDK需要處理一些其他問題，JDK必須是Linux版本的，還有就是JDK要和操作系統的位數相符合，比如32位、64位都有對應的安裝包)：JDk的安裝路徑

此文檔是用戶使用Hadoop集群或普通單機分布式文件存儲系統（HDFS）開展工作的起點，盡管HDFS被設計成適應于許多環境，有用的HDFS知識能大大幫助我們優化配置及診斷具體集群的問題。HDFS是Hadoop應用使用的主要分布式存儲器，HDFS集群主要由管理文件系統元數據的NameNode（名稱節點）和存儲實際數據的DataNode（數據節點）組成。HDFS架構指南詳細途述了HDFS。這個用戶指南主要針對活動和管理的HDFS集群用戶。HDFS架構圖描述了NameNode、DataNode和客戶端基本的相互作用。客戶端通過NameNode取得文件的元數據和修改（狀態或記錄）然后實際執行I/O操作直接使用DataNode。

Hive 是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL），這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。Hive 定義了簡單的類 SQL 查詢語言，稱為 QL，它允許熟悉 SQL 的用戶查詢數據。同時，這個語言也允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理內建的 mapper 和 reducer 無法完成的復雜的分析工作。

Kubernetes，其實就是說這個Docker技術在13年年底的時候就是說開源出來的時候我就開始關注這個技術，然后當時研究了一段時間，對它的這個代碼，怎么樣運行都研究過一段時間，后來發現這個最開始玩這個東西還是只能再一個機器上面玩的，而且是管理起來也是不太方便的，當時就覺得這個管理這個技術的確是一個缺陷，當時的一個短板，自己心里面想的是在不久的將來在管理技術方面會出現的。

今天我所講的內容主要是分成三個方面，第一個是Docker的簡介，真的很簡潔，第二個是Docker的架構，可能會花一半的時間。 這個Docker的介紹，有幾個部分，第一個是Open-source，第二個是automate deployment，第三個是additional layer，第四個是operatingsystem-levelvirtualization，第五個是linux。