一、概念和術語1.1數據挖掘/知識發現（1）數據挖掘是從存放在數據集中的大量數據挖掘出有趣知識的過程。（2）數據挖掘，又稱為數據庫中知識發現（Knowledge Discoveryin Databases）或知識發現，它是一個從大量數據中抽取挖掘出未知的、有價值的模式或規律等知識的非平凡過程，它與數據倉庫有著密切的聯系。

PowerCenter是Informatica出品的數據中心管理工具集中的一個產品，主要用于設計和完成ETL過程，其中又包含多個子產品，如Data Profiling和Data Analyzer

　　　Weka作為一個公開的數據挖掘工作平臺，集合了大量能承擔數據挖掘任務的機器學習算法，包括對數據進行預處理，分類，回歸、聚類、關聯規則以及在新的交互式界面上的可視化。如果想自己實現數據挖掘算法的話，可以看一看Weka的接口文檔。在Weka中集成自己的算法甚至借鑒它的方法自己實現可視化工具并不是件很困難的事情。

數據倉庫：維度建模作者：XX數據倉庫總體結構數據存儲層次結構重中之重錯誤的建模設計：以報表為中心的設計X數據被重復抽取；相同的數據，存儲在不同地點；結局：相同來源的數據在不同地報表上數據不一致；疲于奔命的查找錯誤；蜘蛛網般的數據網絡建模：ImmonvskimballImmon觀點Kimball觀點典型的維度模型產品客戶賬戶簽約事實表交易事務事實表日期渠道星型模型雪花模型維度&事實日期獲得指定機構下各渠道2009年的交易額和交易量？屬性度量渠道機構2009年高新支行ATM交易額維度建模步驟業務分析決定粒度定義維度確定事實步驟一：需求？

概念與技術數據挖掘：概念與技術數據挖掘：概念與技術第1章引言英文幻燈片制作：JiaweiHan中文幻燈片編譯：范明數據挖掘：概念與技術第一章引論動機：為什么要數據挖掘?什么是數據挖掘?數據挖掘：在什么數據上進行?數據挖掘功能所有的模式都是有趣的嗎?數據挖掘系統分類數據挖掘的主要問題數據挖掘：概念與技術動機:需要是發明之母數據爆炸問題自動的數據收集工具和成熟的數據庫技術導致大量數據存放在數據庫,數據倉庫,和其它信息存儲中我們正被數據淹沒,但卻缺乏知識解決辦法:數據倉庫與數據挖掘數據倉庫與聯機分析處理(OLAP)從大型數據庫的數據中提取有趣的知識。

數據挖掘應當更正確的命名為：“從數據中挖掘知識”，不過后者顯得過長了些。而“挖掘”一詞確是生動形象的！人們把數據挖掘視為“數據中的知識發現（KDD）”的同義詞，而另一些人只是把數據挖掘視為知識發現過程的一個基本步驟！

?說到ETL開源項目，Kettle當屬翹首，因此，偶決定花點時間了解一下。? 項目名稱很有意思，水壺。按項目負責人Matt的說法：把各種數據放到一個壺里，然后呢，以一種你希望的格式流出。呵呵，外國人都很有聯想力。???看了提供的文檔，然后對發布程序的簡單試用后，可以很清楚得看到Kettle的四大塊：???Chef——工作(job)設計工具(GUI方式)?? Kitchen——工作(job)執行器(命令行方式)???Spoon——轉換(transform)設計工具(GUI方式)???Span——轉換(trasform)執行器(命令行方式)???嗯，廚師已經在廚房里，勺子和盤子一應俱全，且看能做出如何的大餐？???一：Chef——工作(job)設計器???這是一個GUI工具，操作方式主要通過拖拖拉拉，勿庸多言，一看就會。?

摘要：本文主要介紹使用kettle設計一些ETL任務時一些常見問題，這些問題大部分都不在官方FAQ上，你可以在kettle的論壇上找到一些問題的答案1.?Join我得到A數據流（不管是基于文件或數據庫），A包含field1,field2,field3字段，然后我還有一個B數據流，B包含field4,field5,field6,我現在想把它們‘加’起來,應該怎么樣做.這是新手最容易犯錯的一個地方，A數據流跟B數據流能夠Join，肯定是它們包含joinkey,joinkey可以是一個字段也可以是多個字段。

這里所指的默認數據庫，是 Pentaho自身運行所需的數據源，默認是使用hsqldb。該數據庫與用來做分析的源數據是完全不相關的。Pentaho是一個以工作 流為核心的、強調面向解決方案而非工具組件的BI套件，整合了多個開源項目，目標是和商業BI相抗衡。它偏向于與業務流程相結合的BI解決方案，側重于大 中型企業應用。它允許商業分析人員或開發人員創建報表，儀表盤，分析模型，商業規則和 BI 流程。[1] 　　pentaho是世界上最流行的開源商務智能軟件，以工作流為核心的、強調面向解決方案而非工具組件的BI套件，整合了多個開源項目，目標是和商業BI相抗衡。它是一個基于java平臺的商業智能(Business Intelligence,BI)套件，之所以說是套件是因為它包括一個web server平臺和幾個工具軟件：報表，分析，圖表，數據集成，數據挖掘等，可以說包括了商務智能的方方面面。 　　Pentaho是一個它偏向于與業務流程相結合的BI解決方案，側重于大 中型企業應用。它允許商業分析人員或開發人員創建報表，儀表盤，分析模型，商業規則和 BI 流程。

DataStage介紹 DataStage開發 DataStage四個客戶端的使用 DataStage常用組件使用 DataStage常用命令

類型轉換函數用于更改參數的類型。 以下函數位于表達式編輯器的“類型轉換”類別中。方括號表示參數是可選的。缺省日期格式為 %yyyy-%mm-%dd。 以下示例按照 Transformer 階段的“派生”字段中所示來顯示這些函數。

TDW數據倉庫采用分布式存儲和分布式計算的方法，利用多臺主機協同運算以存儲和處理大規模數據。TDW提供了原有的數據倉庫系統所難以提供的近乎線性的擴展能力，隨著業務和數據規模的增長，可以通過增加節點數擴大系統規模。在對TDW系統中的數據進行處理時，用戶可以使用SQL語言和過程語言，方便用戶進行海量數據的管理與分析。<br>TDW數據倉庫需要提供海量數據（PB級）的存儲能力和大數據量（TB級）的計算能力。這就要求TDW盡可能的進行分布式存儲和并行執行計算操作，從而提高性能和可擴展性。 TDW的存儲和計算引擎都采用share-nothing（SN）結構，SN意味著更少的競爭，這樣就可以獲得更好的線性擴展能力。隨著業務量和數據量的增長，增加節點就可以提高整個系統的存儲和計算能力。SN結構是支持分布式存儲和并行計算的最優結構，具有共享資源少、系統開銷小、加速比高等優點和近似線性的可擴充性，符合TDW分布式數據倉庫的設計要求。

Kettle是一款國外開源的etl工具，純java編寫，綠色無需安裝，數據抽取高 效穩定。Kettle中有兩種腳本文件，transformation和job，transformation完成針 對數據的基礎轉換，job則完成整個工作流的控制。

SharePoint平臺的BI特色BI基礎知識介紹Microsoft BI集成解決方案MicrosoftBI組件與開發工具Microsoft BI開發流程Microsoft BI報表部署與移置商業智能通常被理解為將企業中現有的數據轉化為知識，幫助企業做出明智的業務經營決策的工具。從技術上講，商業智能的建設過程并不復雜，它只是多個工具的結合使用。包括的內容有：數據倉庫(DataWavehouse)、聯機分析處理(OLAP，也稱多維分析)、報表制作和終端用戶查詢、數據挖掘商業智能的概念少數人的BI一、面向全員全員BISharePoint平臺的BI特色為各個角色的人員，提供相應的報表制作工具，使得任意人員都可以從自己的視角去開發制作報表。

中國工商銀行數據倉庫建設情況匯報數據倉庫項目組日程安排開發進度最終應用展現數據倉庫架構二、開發進展2.1個人客戶關系管理（PCRM）2.2業績價值管理（PVMS）2.3信貸臺帳報表（CMIS-REPT）

本文將數據挖掘理論中的聚類分析方法應用到嬰幼兒營養狀況評估中，論述了聚類分析理論指導下的簡化營養狀況測量指標的方法。將常用的測量指標分組，進行層次分解，采用凝聚的方法，去除相關性較強的測量指標，從而達到簡化測量指標的目的。最后通過采樣實驗，對挖掘結果進行了論證，并在采樣實驗的指導下修正了挖掘結果，從而得到實用可靠的簡化測量指標。

數據倉庫的定義及特性 數據倉庫就是面向主題的、集成的、不可更新的（穩定性）、隨時間不斷變化（不同時間）的數據集合， 用以支持經營管理中的決策制定過程，數據倉庫中的數據面向主題，與傳統數據庫面向應用相對應。 主題是一個在較高層次上將數據歸類的標準，每一個主題對應一個宏觀的分析領域。

本章主要講解ETL的概念，datastage的介紹、組成及主要功能。ETL包括數據抽取（Extract）、數據轉換（Transform）以及數據加載（Load）3個階段。 一般而言，這三個過程中有二次落地（生成中間文件）。

kettle4.2.0探索 Kettle 介紹什么是kettle Kettle也叫PDI，在2006年Kettle加入了開源的BI組織Pentaho,正式命名為PDI，英文全稱為PentahoDataIntegeration。Kettle是“KettleE.T.T.L.Envirnonment”只取首字母的縮寫，這意味著它被設計用來幫助你實現你的ETTL需要：抽取、轉換、裝入和加載數據；翻譯成中文名稱應該叫水壺，名字的起源正如該項目的主程序員MATT在一個論壇里說的哪樣：希望把各種數據放到一個壺里然后以一種指定的格式流出。Spoon是一個圖形用戶界面，它允許你運行轉換或者任務，其中轉換是用Pan工具來運行，任務是用Kitchen來運行。Pan是一個數據轉換引擎，它可以執行很多功能，例如：從不同的數據源讀取、操作和寫入數據。Kitchen是一個可以運行利用XML或數據資源庫描述的任務。通常任務是在規定的時間間隔內用批處理的模式自動運行。Kettle的安裝要運行kettle工具必須安裝Sun公司的JAVA運行環境，kettle4.2.0需要運行java1.6或者更高版本，Kettle的下載可以到取得最新版本。kettle不需要安裝，安裝好java環境后，在操作系統環境變量path中配置jre路徑，把kettle工具壓縮包解壓后可直接使用。

Cognos 開發流程圖