Create/Drop Database Create Database CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)]; The use of SCHEMA and DATABASE are interchangeable – they mean the same thing.

本文的目的是讓一個從未接觸Hadoop的人，在很短的時間內快速上手，掌握編譯、安裝和簡單的使用。

確定版本，hive的安裝版本必須與本機hadoop的安裝版本相同，要知道hive的安裝版本可以登錄

云計算pig使用Hadoop的普及和其生態系統的不斷壯大并不令人感到意外。Hadoop不斷進步的一個特殊領域是Hadoop應用程序的編寫。雖然編寫Map和Reduce應用程序并不十分復雜，但這些編程確實需要一些軟件開發經驗。ApachePig改變了這種狀況，它在MapReduce的基礎上創建了更簡單的過程語言抽象，為Hadoop應用程序提供了一種更加接近結構化查詢語言(SQL)的接口。因此，您不需要編寫一個單獨的MapReduce應用程序，您可以用PigLatin語言寫一個腳本，在集群中自動并行處理與分發該腳本。PigLatin示例讓我們從一個簡單的Pig示例開始介紹，并剖析該示例。

Hive概述Hive是建立在Hadoop上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL），這是一種可以存儲、查詢和分析存儲在Hadoop中的大規模數據的機制。Hive定義了簡單的類SQL查詢語言，稱為HQL，它允許熟悉SQL的用戶查詢數據。同時，這個語言也允許熟悉MapReduce開發者的開發自定義的mapper和reducer來處理內建的mapper和reducer無法完成的復雜的分析工作。Hive沒有專門的數據格式。Hive可以很好的工作在Thrift之上，控制分隔符，也允許用戶指定數據格式。由于Hive采用了SQL的查詢語言HQL，因此很容易將Hive理解為數據庫

zoomkeeper分布式協作場景一有這樣一個場景：系統中有大約100w的用戶，每個用戶平均有3個郵箱賬號，每隔5分鐘，每個郵箱賬需要收取100封郵件，最多3億份郵件需要下載到服務器中(不含附件和正文)。用20臺機器劃分計算的壓力，從多個不同的網路出口進行訪問外網，計算的壓力得到緩解，那么每臺機器的計算壓力也不會很大了。通過我們的討論和以往的經驗判斷在這場景中可以實現并行計算，但我們還期望能對并行計算的節點進行動態的添加/刪除，做到在線更新并行計算的數目并且不會影響計算單元中的其他計算節點，但是有4個問題需要解決，否則會出現一些嚴重的問題：20臺機器同時工作時，有一臺機器down掉了，其他機器怎么進行接管計算任務，否則有些用戶的業務不會被處理，造成用戶服務終斷。隨著用戶數量增加，添加機器是可以解決計算的瓶頸，但需要重啟所有計算節點，如果需要，那么將會造成整個系統的不可用。

hbase,hive,hadoop一個演示的例子。

Zookeeper作為一個分布式的服務框架，主要用來解決分布式集群中應用系統的一致性問題，它能提供基于類似于文件系統的目錄節點樹方式的數據存儲，但是Zookeeper并不是用來專門存儲數據的，它的作用主要是用來維護和監控你存儲的數據的狀態變化。通過監控這些數據狀態的變化，從而可以達到基于數據的集群管理ZooKeeper是否對ZNode有大小限制如果你仔細看過ZooKeeper的文檔，會發現文檔中對ZNode的大小做了限制，最大不能超過1M。

一、安裝準備1、下載zookeeper-3.3.1，地址：http://www.apache.org/dist/hadoop/zookeeper/zookeeper-3.3.1/2、JDK版本：jdk-6u20-linux-i586.bin3、操作系統：Linux?4、默認前提是安裝完hadoop0.20.2版本：192.168.3.131 namenode???192.168.3.132 datanode???192.168.3.133datanode二、操作步驟（默認在namenode上進行）1、拷貝以上文件到Linux的“/usr/”目錄下。同時新建目錄“/zookeeper-3.3.1”。

HIVE結構Hive是建立在Hadoop上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL），這是一種可以存儲、查詢和分析存儲在Hadoop中的大規模數據的機制。Hive定義了簡單的類SQL查詢語言，稱為QL，它允許熟悉SQL的用戶查詢數據。同時，這個語言也允許熟悉MapReduce開發者的開發自定義的mapper和reducer來處理內建的mapper和reducer無法完成的復雜的分析工作。HIVE架構Hive的結構可以分為以下幾部分：用戶接口：包括CLI,Client,WUI元數據存儲。通常是存儲在關系數據庫如mysql,derby中解釋器、編譯器、優化器、執行器Hadoop：用HDFS進行存儲，利用MapReduce進行計算用戶接口主要有三個：CLI，Client和WUI。其中最常用的是CLI，Cli啟動的時候，會同時啟動一個Hive副本。Client是Hive的客戶端，用戶連接至HiveServer。

Hbase分析報告本文基于環境 hadoop-0.16.4和hbase-0.1.3編寫Hbase是一個分散式開源數據庫，基于Hadoop分散式文件系統，模仿并提供了基于Google文件系統的Bigtable數據庫的所有功能。Hbaes的目標是處理非常龐大的表，可以用普通的計算機處理超過10億行資料，并且有數百萬列元素組成的資料表。Hbase可以直接使用本地文件系統或者Hadoop作爲資料存儲方式，不過爲了提高資料可靠性和系統的健壯性，發揮Hbase處理大資料量等功能，需要使用Hadoop作爲文件系統，那麼我們就先要了解Hadoop文件系統的基本特性和原理，才能更好地理解Hbase的工作方式。Hadoop文件系統Hadoop文件系統是一個能夠兼容普通硬件環境的分散式文件系統，和現有的分散式文件系統不同的地方是Hadoop更注重容錯性和兼容廉價的硬設備，這樣做是爲了用很小的預算甚至直接利用現有機器就實現大流量和大資料量的讀取。

Hbase shell下面我們看看HBase Shell的一些基本操作命令，我列出了幾個常用的HBaseShell命令，如下：?一、一般操作1.查詢服務器狀態hbase(main):024:0>status3servers,0dead,1.0000averageload?2.查詢hive版

Hbase是bigtable的開源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存儲、可伸縮、實時讀寫的數據庫系統。它介于nosql和RDBMS之間，僅能通過主鍵(rowkey)和主鍵的range來檢索數據，僅支持單行事務(可通過hive支持來實現多表join等復雜操作)。主要用來存儲非結構化和半結構化的松散數據。與hadoop一樣，Hbase目標主要依靠橫向擴展，通過不斷增加廉價的商用服務器，來增加計算和存儲能力。HBase中的表一般有這樣的特點：1大：一個表可以有上億行，上百萬列2面向列:面向列(族)的存儲和權限控制，列(族)獨立檢索。

Hadoop，ZooKeeper，HBase分布式搭建前提準備注：hbase的安裝需要hadoop和zookeeper和hbase，生產環境下需要將zookeeper獨立安裝，hbase軟件選擇cloudera的cdh3u0，這樣不會出現版本不兼容等問題。apache的版本需要重新編譯hadoop0.20.2-appender版以保證沒有數據丟失。1、機器集群結構分布使用8臺曙光服務器搭建集群，ip為*.*.83.1-8，hostname為hadoop-node1到hadoop-node8

Hadoop，ZooKeeper，HBase,hive(HQL)安裝步驟Hadoop安裝：首先我們統一一下定義，在這里所提到的Hadoop是指HadoopCommon，主要提供DFS（分布式文件存儲）與Map/Reduce的核心功能。Hadoop在windows下還未經過很好的測試，所以推薦大家在linux（centos6.X）下安裝使用。準備安裝Hadoop集群之前我們得先檢驗系統是否安裝了如下的必備軟件：ssh和Jdk1.6（因為Hadoop需要使用到Jdk中的編譯工具，所以一般不直接使用Jre）。可以使用yuminstallrsync來安裝rsync。

ZooKeeper 是一個為分布式應用所設計的分布的、開源的協調服務。分布式的應用可以建立在同步、配置管理、分組和命名等服務的更高級別的實現的基礎之上。 ZooKeeper 意欲設計一個易于編程的環境，它的文件系統使用我們所熟悉的目錄樹結構。 ZooKeeper 使用 Java 所編寫，但是支持 Java 和 C 兩種編程語言。

ZooKeeper是一個高可用的分布式數據管理與系統協調框架。基于對Paxos算法的實現，使該框架保證了分布式環境中數據的強一致性，也正是基于這樣的特性，使得ZooKeeper解決很多分布式問題。網上對ZK的應用場景也有不少介紹，本文將結合作者身邊的項目例子，系統地對ZK的應用場景進行一個分門歸類的介紹。值得注意的是，ZK并非天生就是為這些應用場景設計的，都是后來眾多開發者根據其框架的特性，利用其提供的一系列API接口（或者稱為原語集），摸索出來的典型使用方法。因此，也非常歡迎讀者分享你在ZK使用上的奇技淫巧。ZooKeeper典型應用場景一覽數據發布與訂閱（配置中心）發布與訂閱模型，即所謂的配置中心，顧名思義就是發布者將數據發布到ZK節點上，供訂閱者動態獲取數據，實現配置信息的集中式管理和動態更新。

Introduction Quick Introduction to Spark Set up development environment and create the hello world application Notebook Walk-through Spark Streaming Deep dive: Sentiment analysis with Twitter and Watson Tone Analyzer Architectural Overview Set up the Bluemix services: Watson Tone Analyzer, Message Hub and Event Hub Create the Streaming Receiver to connect to Kafka (Scala) Create analytics using Jupyter Notebook (Python) Create Real-time Web Dashboard (Nodejs)

簡單說一說Storm這個東西Storm的原理/集群架構/編程模型…那些年遇到的一些坑我們都用它來做什么Storm的硬傷--資源調度/生態實時類SQL與拓撲的高度模塊化Storm基礎--它是干什么的？Storm基礎--集群架構Storm基礎--在此之上要做的事那些年遇到的一些坑跑著跑著拓撲應用掛了，worker不斷重啟失敗！

海量數據處理之大躍進--自主bi系統"天到實時"耿一斐數據行業現狀一、各大公司日益重視數據二、數據產品涉及的行業越來越多三、數據產品市場越來越廣泛BI系統，搜索，推薦是數據的幾種較為直接的使用形態。數據應用面臨著越來越多的挑戰數據量越來越多，G---T---P客戶要求響應，day---hour---minute--second隔天信息BI系統架構圖適用場景該系統一般隔天執行，統計數據基于Hadoop生態體系，M/R，hive等都已基本成熟。Mapreduce，hive-sql開發較易。Mysql關系型數據庫支持各種組合，關聯查詢，易于數據展現。重度依賴調度系統推薦一款開源的調度系統（Zeus）1、友好的界面顯示、全中文，配置簡單