Hive詳細教程

指向已經在 HDFS 中存在的數據，可以創建 Partition

它和 內部表 在元數據的組織上是相同的，而實際數據的存儲則有較大的差異

內部表 的創建過程和數據加載過程（這兩個過程可以在同一個語句中完成），在加載數據的過程中，實際數據會被移動到數據

倉庫目錄中；之后對數據對訪問將會直接在數據倉庫目錄中完成。刪除表時，表中的數據和元數據將會被同時刪除

外部表只有一個過程，加載數據和創建表同時完成，并不會移動到數據倉庫目錄中,只是與外部數據建立一個鏈接。當刪除一個外部表時，僅刪除鏈接

CREATEEXTERNAL TABLE page_view

( viewTimeINT,
  useridBIGINT,
  page_urlSTRING,  
  referrer_urlSTRING,  
  ipSTRING COMMENT 'IP Address of the User',
  country STRING COMMENT 'country of origination‘
)
   
    COMMENT 'This is the staging page view table'
    ROW FORMAT DELIMITED FIELDSTERMINATED BY '44' LINES   TERMINATED BY '12'
    STORED ASTEXTFILE
    LOCATION 'hdfs://centos:9000/user/data/staging/page_view';</pre> 
 
</td>
</tr>
</tbody>
</table>




外部表的shell  





創建數據文件external_table.dat

創建表




hive>create external table external_table1 (key string) ROW FORM   AT  DELIMITED FIELDS 







TERMINATED BY '\t' location '/home/external';







在HDFS創建目錄/home/external




#hadoop fs -put /home/external_table.dat /home/




external


加載數據

LOAD DATA INPATH '/home/external_table1.dat' 




IN




TO TABLE external_table1;




查看數據

select * from external_table




select count(*) from external_table




刪除表


drop table external_table




</td>
</tr>
</tbody>
</table>




導入數據






?當數據被加載至表中時，不會對數據進行任何轉換。Load 操作只是將數據復制/移動至 Hive 表對應的位置。

 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]

    INTO TABLE tablename

    [PARTITION (partcol1=val1, partcol2=val2 ...)]

?把一個Hive表導入到另一個已建Hive表

 INSERT OVERWRITE TABLE tablename[PARTITION (partcol1=val1, partcol2=val2 ...)] select_statementFROM from_statement

?CTAS

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name

  (col_namedata_type, ...)  …

  AS SELECT …
例：create table new_external_testas  select * from external_table1



</span></td>
</tr>
</tbody>
</table>

查詢






?基于Partition的查詢  

一般 SELECT查詢是全表掃描。但如果是分區表，查詢就可以利用分區剪枝（input pruning）的特性，類似“分區索引“”，只掃描一個表中它關心的那一部分。Hive當前的實現是，只有分區斷言（Partitioned by）出現在離FROM子句最近的那個WHERE子句中，才會啟用分區剪枝。例如，如果page_views表（按天分區）使用date列分區，以下語句只會讀取分區為‘2008-03-01’的數據。

 SELECT page_views.*    FROM page_views    WHERE page_views.date>= '2013-03-01' AND page_views.date<= '2013-03-01'

?LIMIT Clause 

Limit可以限制查詢的記錄數。查詢的結果是隨機選擇的。下面的查詢語句從t1表中隨機查詢5條記錄：

SELECT * FROM t1 LIMIT 5

?Top N查詢

下面的查詢語句查詢銷售記錄最大的5個銷售代表。

SETmapred.reduce.tasks= 1

SELECT * FROM sales SORT BY amount DESC LIMIT 5
</td>
</tr>
</tbody>
</table>

表連接









導入ac信息表

hive> create table acinfo(name string,acipstring)  row format delimited fields terminated by '\t' stored as TEXTFILE;

hive> load data local inpath'/home/acinfo/ac.dat' into table acinfo; 

內連接

select b.name,a.* from dim_aca join acinfo b on (a.ac=b.acip) limit 10;

左外連接

select b.name,a.* from dim_ac a left outer join acinfo b on a.ac=b.acip limit 10;


</td>
</tr>
</tbody>
</table>





Java客戶端


</tr>
</tbody>
</table>




UDF







Hive遠程服務啟動#hive --service hiveserver>/dev/null  2>/dev/null &

JAVA客戶端相關代碼

Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");
Connection con = DriverManager.getConnection("jdbc:hive://192.168.1.102:10000/wlan_dw", "", "");
Statement stmt = con.createStatement();
String querySQL="SELECT * FROM wlan_dw.dim_m order by flux desc limit 10";
ResultSet res = stmt.executeQuery(querySQL); 
while (res.next()) {
System.out.println(res.getString(1) +"\t" +res.getLong(2)+"\t" +res.getLong(3)+"\t" +res.getLong(4)+"\t" +res.getLong(5));
}
 

</td>
</tr>















1、UDF函數可以直接應用于select語句，對查詢結構做格式化處理后，再輸出內容。

2、編寫UDF函數的時候需要注意一下幾點：

a）自定義UDF需要繼承org.apache.hadoop.hive.ql.UDF。

b）需要實現evaluate函數，evaluate函數支持重載。

4、步驟

a）把程序打包放到目標機器上去；

b）進入hive客戶端，添加jar包：hive>add jar /run/jar/udf_test.jar;

c）創建臨時函數：hive>CREATE TEMPORARY FUNCTION add_example AS 'hive.udf.Add';

d）查詢HQL語句：

SELECT add_example(8, 9) FROM scores;

SELECT add_example(scores.math, scores.art) FROM scores;

SELECT add_example(6, 7, 8, 6.8) FROM scores;

e）銷毀臨時函數：hive> DROP TEMPORARY FUNCTION add_example;

注：UDF只能實現一進一出的操作，如果需要實現多進一出，則需要實現UDAF
</td>
</tr>
</tbody>
</table>
來自：http://my.oschina.net/yangzhiyuan/blog/228362

                    
                    

                        
 本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
                        
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
                        
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！
                        
 本文地址：http://www.baiduhome.net/lib/view/open1398950034093.html
                        
 Hive
                    

                
                

                    

                        
相關經驗
                        

 
 Hive詳細教程
  
 GitHub詳細教程
  
 Git使用詳細教程
  
 SpringMVC詳細示例實戰教程
  
 gulp詳細入門教程
                         
                    
                    

                        
相關資訊
                        

 
 22個非常詳細的jQuery動畫教程
  
 Hive 1.0.0發布
  
 18個詳細響應式網頁設計教程
  
 Apache Hive release-2.1.1-rc0 發布
  
 Apache Hive v2.2.1發布
                         
                    
                    

                        
相關文檔
                        

 
  Oracle 詳細教程
  
  PuTTY 詳細教程
  
  PowerDesigner詳細教程
  
  ERWin 詳細教程
  
  ERWin 詳細教程
  
  HIVE 入門
  
  weka中文詳細教程
  
  超詳細wordpress_主題教程：從零開始制作
  
  Enterprise Architect 教程 EA教程