Hadoop數據傳輸工具：Sqoop
Apache Sqoop（SQL-to-Hadoop） 項目旨在協助 RDBMS 與 Hadoop 之間進行高效的大數據交流。用戶可以在 Sqoop 的幫助下，輕松地把關系型數據庫的數據導入到 Hadoop 與其相關的系統 (如HBase和Hive)中；同時也可以把數據從 Hadoop 系統里抽取并導出到關系型數據庫里。除了這些主要的功能外，Sqoop 也提供了一些諸如查看數據庫表等實用的小工具。理論上，Sqoop 支持任何一款支持 JDBC 規范的數據庫，如 DB2、MySQL 等。Sqoop 還能夠將 DB2 數據庫的數據導入到 HDFS 上，并保存為多種文件類型。常見的有定界文本類型，Avro 二進制類型以及 SequenceFiles 類型。在本文里，統一用定界文本類型。
Sqoop中一大亮點就是可以通過hadoop的mapreduce把數據從關系型數據庫中導入數據到HDFS。Sqoop架構非常簡單，其整合了Hive、Hbase和Oozie，通過map-reduce任務來傳輸數據，從而提供并發特性和容錯。
Sqoop在import時，需要制定split-by參數。Sqoop根據不同的split-by參數值來進行切分,然后將切分出來的區域分配到 不同map中。每個map中再處理數據庫中獲取的一行一行的值，寫入到HDFS中。同時split-by根據不同的參數類型有不同的切分方法，如比較簡單 的int型，Sqoop會取最大和最小split-by字段值，然后根據傳入的num-mappers來確定劃分幾個區域。 比如select max(split_by),min(split-by) from得到的max(split-by)和min(split-by)分別為1000和1，而num-mappers為2的話，則會分成兩個區域 (1,500)和(501-100),同時也會分成2個sql給2個map去進行導入操作，分別為select XXX from table where split-by>=1 and split-by<500和select XXX from table where split-by>=501 and split-by<=1000。最后每個map各自獲取各自SQL中的數據進行導入工作。
Sqoop大概流程
- 讀取要導入數據的表結構，生成運行類，默認是QueryResult，打成jar包，然后提交給Hadoop
- 設置好job，主要也就是設置好以上第六章中的各個參數
- 這里就由Hadoop來執行MapReduce來執行Import命令 </ol>
- sqoop1優點：架構部署簡單
- sqoop1缺點：命令行方式容易出錯，格式緊耦合，無法支持所有數據類型，安全機制不夠完善，例如密碼暴漏， 安裝需要root權限，connector必須符合JDBC模型
- sqoop2優點：多種交互方式，命令行，web UI，rest API，conncetor集中化管理，所有的鏈接安裝在sqoop server上，完善權限管理機制，connector規范化，僅僅負責數據的讀寫
- sqoop2缺點：架構稍復雜，配置部署更繁瑣 </ul>
1) 首先要對數據進行切分，也就是DataSplit，DataDrivenDBInputFormat.getSplits(JobContext job)
2) 切分好范圍后，寫入范圍，以便讀取DataDrivenDBInputFormat.write(DataOutput output)，這里是lowerBoundQuery and upperBoundQuery
3) 讀取以上2）寫入的范圍DataDrivenDBInputFormat.readFields(DataInput input)
4) 然后創建RecordReader從數據庫中讀取數據DataDrivenDBInputFormat.createRecordReader(InputSplit split,TaskAttemptContext context)
5) 創建MAP，MapTextImportMapper.setup(Context context)
6) RecordReader一行一行從關系型數據庫中讀取數據，設置好Map的Key和Value，交給MapDBRecordReader.nextKeyValue()
7) 運行MAP，mapTextImportMapper.map(LongWritable key, SqoopRecord val, Context context),最后生成的Key是行數據，由QueryResult生成，Value是NullWritable.get()
Sqoop1和Sqoop 2架構的變遷
首先這兩個版本是完全不兼容的，其具體的版本號區別為1.4.x為sqoop 1，1.99x為sqoop 2。sqoop1和sqoop2在架構和用法上已經完全不同。在架構上，sqoop1僅僅使用一個sqoop客戶端，sqoop2引入了sqoop server，對connector實現了集中的管理。其訪問方式也變得多樣化了，其可以通過REST API、JAVA API、WEB UI以及CLI控制臺方式進行訪問。另外，其在安全性能方面也有一定的改善，在sqoop1中我們經常用腳本的方式將HDFS中的數據導入到mysql 中，或者反過來將mysql數據導入到HDFS中，其中在腳本里邊都要顯示指定mysql數據庫的用戶名和密碼的，安全性做的不是太完善。在sqoop2 中，如果是通過CLI方式訪問的話，會有一個交互過程界面，你輸入的密碼信息不被看到，同時Sqoop2引入基于角色的安全機制。下圖是sqoop1和 sqoop2簡單架構對比：
Sqoop1架構圖：
Sqoop2架構圖：
參考鏈接：