Introduction Distributed Neural Network Algorithm What is Guagua? Guagua Advanced Features Shifu on Guagua Future Plans

Jstorm 是一個分布式實時計算引擎 類似Hadoop MR 用戶按照規定的編程規范實現一個任務，將任務放到Jstorm上，Jstorm就將任務7 * 24 小時調度起來 Jstorm 比Storm 更穩定，功能更強大，更快。 Storm上跑的程序可以一行代碼不變運行在Jstorm上

Hadoop Technical Walkthrough HDFS Databases Using Hadoop in an Academic Environment Performance tips and other tools

SequoiaDB是一個領先的NoSQL數據庫，它促進了大數據的應用和發展。而有了大數據，企業能夠： 1．實現原本很難處理的業務。如社交網絡，通過SequoiaDB水平擴張和動態數據類型的特性，來支持不斷增長的用戶群和日漸復雜的用戶活動。 2．適應和發展競爭優勢。如電子消費供應商，可以基于SequoiaDB搭建云服務。 3．提升客戶體驗。一家媒體公司通過定制服務內容和與讀者的互動，增加了廣告收入和用戶參與度。 4．減少開銷。如某銀行，通過使用SequoiaDB替代傳統的基礎設施，不僅滿足了新的需求，還節省了80%的軟硬件成本。

Hadoop Performance at LinkedIn

電 電信大數據場景與關鍵技術1.2.數字足跡案例3.平臺和關鍵技術 過濾生成詳單數據模型實時KPI計算/CEP探針周期上報儀表盤15min~sec~sec~msec詳單查詢~hour~min事件產生探針實時上報~msec事件產生…實時KPI15分鐘KPI報表（現狀）15分鐘KPI報表（優化后）1小時KPI報表（現狀）天級KPI報表（現狀）15sec1min>2hour報表查詢15分鐘報表統計HDFS挑戰：1、HDFS的入庫性能2、高性能實時流處理場景一：業務KPI統計分析Page區域人數分布熱力圖直觀的顯示居住區、CBD、旅游點、軟件園等區域各時段人數變化情況。

目錄Graphx簡介和特性圖計算場景整體模型，流程和算法調優與改進性能和技巧總結Graphx的發展Graphx架構 算法模型核心實現Graphx主要的接口Graphx中設計的幾個要點3個RDD邊分割和點分割用戶圖計算的場景基于最大連通圖的社區發現基于三角形計數的關系衡量基于隨機游走的用戶屬性傳播用戶信譽度模型正能量，負能量都會向周邊的點傳播。

CDH4.1.2集群安裝配置詳細過程CDH4.1.2 CDH是Cloudera完全開源的Hadoop分布式系統架構，為了滿足企業的需求而特別構建的系統。即一個開源的企業級分布式存儲系統。全稱：ClouderaHadoop。它是在ApacheHadoop基礎上打入了很多patch。使之性能更好，更加滿足生產環境。CDH4.1.2使用的是apache的hadoop2.0版本，與之前的穩定的hadoop-1.x相比，ApacheHadoop2.x有較為顯著的變化。Hadoop介紹Hadoop是apache的開源項目，開發的主要目的是為了構建可靠、可拓展、穩定的分布式的系統，hadoop是一系列的子工程的總和，其中包含：1.hadoopcommon：為其他項目提供基礎設施

基于Twitter Algebird和Spark Streaming的大規模流式數據處理算法

Bigtable是一個分布式的結構化數據存儲系統，它被設計用來處理海量數據：通常是分布在數千臺普通服務器上的PB級的數據。Google的很多項目使用Bigtable存儲數據，包括Web索引、Google Earth、Google Finance。這些應用對Bigtable提出的要求差異非常大，無論是在數據量上（從URL到網頁到衛星圖像）還是在響應速度上（從后端的批量處理到實時數據服務）。盡管應用需求差異很大，但是，針對Google的這些產品，Bigtable還是成功的提供了一個靈活的、高性能的解決方案。本論文描述了Bigtable提供的簡單的數據模型，利用這個模型，用戶可以動態的控制數據的分布和格式；我們還將描述Bigtable的設計和實現。

FastDFS是一款開源的輕量級分布式文件系統純C實現，支持Linux、FreeBSD等UNIX系統類googleFS，不是通用的文件系統，只能通過專有API訪問，目前提供了C、Java和PHPAPI為互聯網應用量身定做，解決大容量文件存儲問題，追求高性能和高擴展性FastDFS可以看做是基于文件的keyvaluepair存儲系統，稱作分布式文件存儲服務更為合適FastDFS提供的功能upload：上傳普通文件，包括主文件upload_appender：上傳appender文件.

◆MapReduce是一種分布式計算模型，由Google提出，主要用于搜索領域，解決海量數據的計算問題. ◆MR由兩個階段組成：Map和Reduce，用戶只需要實現map()和reduce()兩個函數，即可實現分布式計算，非常簡單。 ◆這兩個函數的形參是key、value對，表示函數的輸入信息。

HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。HBase利用Hadoop HDFS作為其文件存儲系統，利用Hadoop MapReduce來處理HBase中的海量數據，利用Zookeeper作為協調工具。

主要內容Hadoop1.0的局限性Hadoop2.0新特性介紹Hadoop現狀及最新進展Hadoop1.0的局限-HDFS※資源隔離※元數據擴展性※訪問效率※數據丟失缺陷？Hadoop1.0的局限-MapReduce擴展性集群最大節點數–4000最大并發任務數–40000可用性JobTracker負載較重存在單點故障,一旦故障，所有執行的任務的全部失敗批處理模式,時效性低僅僅使用MapReduce一種計算方式低效的資源管理把資源強制劃分為maptaskslot和reducetaskslot,當系統中只有maptask或者只有reducetask的時候，會造成資源的浪費當map-reducejob非常多的時候，會造成很大的內存開銷，潛在來說，也增加了JobTrackerfail的風險，這也是業界普遍總結出老Hadoop的Map-Reduce只能支持4000節點主機的上限

Hadoop綜述主要內容*第一篇HDFS分布式文件系統第二篇MapReduce第三篇Hbase簡單介紹第一篇HDFS*一：TheDesignofHDFS二：HDFSConcepts三：應用程序示例四：DataFlow第二篇MapReduce*一：MapReduce基礎二：MapReduce數據流三：MapReduce工作原理第三篇Hbase簡單介紹*一：簡介二：數據模型三：行、列、時間戳、API第

參考資料Google的核心技術Google的十個核心技術，而且可以分為四大類：分布式基礎設施：GFS、Chubby和ProtocolBuffer。分布式大規模數據處理：MapReduce和Sawzall。分布式數據庫技術：BigTable和數據庫Sharding。數據中心優化技術：數據中心高溫化、12V電池和服務器整合。Google的核心技術分布式基礎設施GFS由于搜索引擎需要處理海量的數據，所以Google的兩位創始人LarryPage和SergeyBrin在創業初期設計一套名為"BigFiles"的文件系統，而GFS（全稱為"GoogleFileSystem"）這套分布式文件系統則是"BigFiles"的延續。

內存計算Spark和SQL on Hadoop黃永卿解決方案中心目錄安裝配置與簡介為什么需要Spark Hadoop(MapReduce)極大的簡化了大數據分析但是，隨著大數據需求和使用模式的擴大，用戶的需求也越來越多：>>更復雜的多重處理需求（比如迭代計算,ML,Graph）>>低延遲的交互式查詢需求（比如ad-hocquery）MapReduce計算模型的架構導致上述兩類應用先天緩慢，用戶迫切需要一種更快的計算模型，來補充MapReduce的先天不足。

Hive 是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL），這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。Hive 定義了簡單的類 SQL 查詢語言，稱為 QL，它允許熟悉 SQL 的用戶查詢數據。同時，這個語言也允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理內建的 mapper 和 reducer 無法完成的復雜的分析工作。

此文檔是用戶使用Hadoop集群或普通單機分布式文件存儲系統（HDFS）開展工作的起點，盡管HDFS被設計成適應于許多環境，有用的HDFS知識能大大幫助我們優化配置及診斷具體集群的問題。

講解Hadoop單機安裝和Hadoop集群安裝的方法和步驟,本文檔希望讓Hadoop安裝部署更簡單(Easy)。