Kettle培訓內容Kettle功能與產品介紹Kettle控件介紹Kettle案例演示Kettle調度Kettle介紹Kettle是一款開源的、元數據驅動的ETL工具集，是開源ETL工具里功能比較強大的一個。Kettle是”KettleE.T.T.L.Envirnonment”只取首字母的縮寫，這意味著它被設計用來幫助你實現你的ETTL需要：抽取、轉換、裝入和加載數據； Kettl

概述想要做個成功的數據處理項目，那么ETL的每個環節都做到風險把關就將是必須的。將環節自身的質量與銜接做到準確與流暢，各個環節間做到有始有終,并且能夠承上啟下，如果能做到這點，縱使是個別環節出現紕漏，那么無論是錯誤的發現，錯誤的修改都會高效與快速。開始前的準備準備的關隘在于你要在你思想的轉換。一個數據處理項目從何開始？應該是從一個問題開始，可能是業務的需求。例如集團的對經營狀態精細化管控所必須的精細化數據支持，企業發展過程中成長遇到瓶頸對最優突破瓶頸的方式的探索，乃至一個純粹的對IT歷史垃圾數據的一個清理整合的目的。

由于PentahoBI平臺自帶的HSQLDB數據庫只能用于演示，而真正用于生產環境我們必須將PentahoBI服務器的資料庫遷移到Oracle、Mysql等數據庫（目前Pentaho支持Oracle、Mysql、PostgreSQL等主流數據庫）。

根據官方文檔搭建Pentaho平臺源碼所作修改

商業智能又名商務智能，英文為Business Intelligence，簡寫為BI。 商業智能通常被理解為將企業中現有的數據轉化為知識，幫助企業做出明智的業務經營決策的工具。這里所談的數據包括來自企業業務系統的訂單、庫存、交易賬目、客戶和供應商等來自企業所處行業和競爭對手的數據以及來自企業所處的其他外部環境中的各種數據。為了將數據轉化為知識，需要利用數據倉庫、聯機分析處理（OLAP）工具和數據挖掘等技術。因此，從技術層面上講，商業智能不是什么新技術，它只是數據倉庫、OLAP和數據挖掘等技術的綜合運用。

在項目組的安排下，在這一個多月里的時間里我將主要的精力放在了pentahoBI套件的學習與示例開發上。簡單的總結一下，這段時間我主要做了以下幾個事情：1.下載和安裝了Pentaho BI平臺、數據加工王者—kettle、Action Sequence的開發工具Pentaho Design Studio、Pentaho報表工具Pentaho Report Designer;2.學習和了解了商業智能發展動向和趨勢；3.學習和掌握了Pentaho BI平臺的配置；4.掌握了Kettle的一些基本組件，會用kettle開發不是太復雜的job和轉換；5.Action Sequence部分組件的學習，會用Pentaho Design Studio開發基本的Action Sequence；6.掌握了Pentaho Report Designer開發一般需求的報表；7.學習和了解了數據倉庫的一些基本概念；8.學習了數據倉庫設計的一些理論知識；9.完成了廣物倉儲系統數據倉庫的demo設計；10.利用kettle完成了庫存查詢數據倉庫維度表和事實表的數據抽取。

一、datastage介紹二、如何安裝datastage三、配置datastage工程四、設計并運行datastage的job五、操作元數據六、定義查找使用的哈希文件七、job的運行及調試一，datastage的介紹本章主要講解ETL的概念，datastage的介紹、組成及主要功能。ETL概要ETL包括數據抽取（Extract）、數據轉換（Transform）以及數據加載（Load）3個階段。一般而言，這三個過程中有二次落地（生成中間文件）。

Informatica PowerCenter 是Informatica公司開發的世界級的企業數據集成平臺，也是業界領先的ETL工具。Informatica PowerCenter使用戶能夠方便地從異構的已有系統和數據源中抽取數據，用來建立、部署、管理企業的數據倉庫，從而幫助企業做出快速、正確的決策。此產品為滿足企業級要求而設計，可以提供企業部門的數據和電子商務數據源之間的集成，如XML，網站日志，關系型數據，主機和遺留系統等數據源。此平臺性能可以滿足企業分析最嚴格的要求。

Informatica整理組件

Informatica PowerCenter 7.1 簡易使用手冊

1、 本安裝手冊描述適用于Greenplum4.0以上版本的安裝操作，4.0以下版本安裝步驟存在差異。 2、 本安裝手冊所涉及到的操作系統相關參數調整，主要針對Redhat Linux操作系統，其他操作系統（如：SUSE、Solaris等）參數配置上會存在差異，后續逐步補充完善。

本規范定義了BIS COE部門在進行ETL開發以及調度開發過程中應遵守的設計、開發準則或建議，以便盡量統一部門的編碼風格，提高部門輸出代碼的可讀性、健壯性和可維護性。本規范適用于BIS COE部門成員使用PL/SQL和DataStage進行ETL程序開發以及進行調度開發的過程。

術本文研究的數據倉庫遷移方案以某保險集團的數據倉庫遷移為例，概述了數據遷移的技術和步驟，以及異構數據倉庫之間進行數據遷移所存在的問題和解決方法。保險企業對數據倉庫的遷移，主要有兩方面的原因。一方面是將數據倉庫的元數據（技術元數據與業務元數據）遷移到性能更加優越的平臺上，另一方面是為了規范和優化物理模型、程序等。

數據挖掘原理與SPSS Clementine應用寶典。本章所述的現實對象、研究對象、實際問題等均指原型。模型則是為了某個特定目的將原型的某部分簡縮、提煉而構造的原型替代物。16.1.2模式與模型模式（Pattern）其實就是解決某一類問題的方法論，把解決某類問題的方法總結歸納到理論高度，就是模式。模型（Model）就是封裝數據和所有基于對這些數據的操作，是對現實世界中過程的抽象描述。

數據挖掘原理與SPSS Clementine應用寶典。 第十三章遺傳算法本章內容1.遺傳算法概述2.基本遺傳算法3.改進遺傳算法4.基于遺傳算法的數據挖掘5.基因表達式編程遺傳算法概述-模式定理模式定理是遺傳算法的理論基礎，它的定義如下：模式定理(Schematheorem)：在遺傳算子選擇，交叉和變異的作用下，具有低階，短定義距以及平均適應度高于群體平均適應度的模式在子代中將得以指數級增長。

數據挖掘原理與SPSS Clementine應用寶典。第9章　決策樹算法第9章決策樹算法第9章　決策樹算法本章大綱：決策樹算法原理常用決策樹算法決策樹剪枝由決策樹提取分類規則應用實例分析第9章　決策樹算法

Kettle工程存儲方式有兩種：一種是以XML形式存儲，一種是以資源庫方式存儲。 Kettle中有兩類設計分別是：Transformation（轉換）與Job（作業），Transformation完成針對數據的基礎轉換，Job則完成整個工作流的控制。 Kettle常用三大家族：Spoon、Pan、Kitchen。 Spoon:通過圖形界面方式設計、運行、調試Job與Transformation。

提綱數據倉庫概念數據倉庫體系結構及組件數據倉庫設計數據倉庫技術（與數據庫技術的區別）數據倉庫性能數據倉庫應用數據挖掘應用概述數據挖掘技術與趨勢數據挖掘應用平臺（科委申請項目）數據倉庫概念基本概念對數據倉庫的一些誤解基本概念—數據倉庫

數據倉庫與數據挖掘原理及應用東華理工大學理學院劉愛華目錄數據倉庫基礎7.分類和預測數據倉庫設計和實現8.關聯分析數據倉庫實例9.Web挖掘OLAP和OLAM10.數據挖掘實例5.數據挖掘基礎11.知識聚類分析12.語義網和本體1數據倉庫基礎1.1引言1.2體系結構1.3組成1.4元數據1.5數據粒度1.6數據模型1.7ETL1.1引言數據倉庫定義數據倉庫是在企業管理和決策中面向主題的、集成的、與時間相關的、不可修改的數據集合。此定義由最為權威的、被稱為“數據倉庫之父”的WilliamH.Inmon先生給出。

國際權威的學術組織the IEEE International Conference on Data Mining (ICDM) 2006年12月評選出了數據挖掘領域的十大經典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. ? 不僅僅是選中的十大算法，其實參加評選的18種算法，實際上隨便拿出一種來都可以稱得上是經典算法，它們在數據挖掘領域都產生了極為深遠的影響。