Chapter8.聚類分析什么是聚類分析?聚類分析中的數據類型主要聚類分析方法分類劃分方法（Partitioning Methods）分層方法基于密度的方法基于表格的方法基于模型（Model-Based）的聚類方法異常分析總結Data Mining:Conceptsand Techniques什么是聚類分析?簇（Cluster）:一個數據對象的集合在同一個類中，對象之間0具有相似性；不同類的對象之間是相異的。

貝葉斯定理后驗概率(posterioriprobabilities):P(H|X)表示條件X下H的概率.貝葉斯定理:P(H|X)=P(X|H)P(H)/P(X)樸素貝葉斯分類假定有m個類C1,…Cm,對于數據樣本X,分類法將預測X屬于類Ci,當且僅當P(Ci|X)>P(Cj|X),1<=j<=m,j!=i根據貝葉斯定理,P(Ci|X)=P(X|Ci)P(Ci)/P(X)由于P(X)對于所有類都是常數,只需最大化P(X|Ci)P(Ci)計算P(X|Ci),樸素貝葉斯分類假設類條件獨立.即給定樣本屬性值相互條件獨立.P(x1,…,xk|C)=P(x1|C)

第七章：分類和預測7.1什么是分類？什么是預測7.2關于分類和預測的一些問題7.3使用決策樹進行分類7.4貝葉斯分類7.5（向后傳播分類）帶回饋的分類7.6基于關聯規則的分類7.7其他分類方法7.8預測7.9分類法的準確性7.10總結DataMining:ConceptsandTechniques分類和預測分類：預測種類字段基于訓練集形成一個模型，訓練集中的類標簽是已知的。使用該模型對新的數據進行分類預測:對連續性字段進行建模和預測。

第七章：分類和預測什么是分類？什么是預測關于分類和預測的一些問題使用決策樹進行分類貝葉斯分類帶回饋的分類基于關聯規則的分類其他分類方法預測分類的準確率總結

概念和技術第6章：從大數據庫中挖掘關聯規則關聯規則挖掘從交易數據庫中挖掘一維的布爾形關聯規則從交易數據庫中挖掘多層次關聯規則在交易數據庫和數據倉庫中挖掘多維關聯規則從關聯挖掘到相關性分析基于約束的關聯挖掘小結數據挖掘：概念和技術多層關聯規則項通常具有層次底層的項通常支持度也低某些特定層的規則可能更有意義交易數據庫可以按照維或層編碼可以進行共享的多維挖掘食品面包牛奶脫脂奶光明統一酸奶白黃數據挖掘

基于約束的挖掘使用約束的必要性在數據挖掘中常使用的幾種約束：知識類型約束：指定要挖掘的知識類型如關聯規則數據約束：指定與任務相關的數據集

第6章：挖掘大型數據庫中的關聯規則6.1關聯規則挖掘6.2由事務數據庫挖掘單維布爾關聯規則6.3由事務數據庫挖掘多層關聯規則6.4由關系數據庫和數據倉庫挖掘多維關聯規則6.5由關聯挖掘到相關性分析6.6基于約束的關聯挖掘6.7小結數據挖掘：概念和技術什么是關聯挖掘?關聯規則挖掘：在交易數據、關系數據或其他信息載體中，查找存在于項目集合或對象集合之間的頻繁模式、關聯、相關性、或因果結構。應用：購物籃分析、交叉銷售、產品目錄設計、loss-leaderanalysis、聚集、分類等。

概念描述特征化和比較什么是概念描述?數據概化和基于匯總的特征化解析特征化:分析屬性之間的關聯性挖掘類比較:獲取不同類之間的不同處在大型數據庫中挖掘描述統計度量討論總結什么是概念描述?描述性vs.預測性數據挖掘描述性數據挖掘:預測性數據挖掘:概念描述:特征化:對所選擇的數據集給出一個簡單明了的描述，匯總比較:提供對于兩個或多個數據集進行比較的描述概念描述和OLAP區別概念描述:能夠處理復雜的數據類型和各種匯總方法更加自動化OLAP:只能限制于少量的維度和數據類型用戶控制的流程特征化和比較什么是概念描述?數據概化和基于匯總的特征化分析特征化:分析屬性之間的關聯性挖掘類比較

**數據預處理2009年4月27日**2.1數據預處理的原因正確性（Correctness）一致性（Consistency）完整性（Completeness）可靠性（Reliability）數據質量的含義**數據錯誤的不可避免性數據輸入和獲得過程數據錯誤數據集成所表現出來的錯誤數據傳輸過程所引入的錯誤據統計有錯誤的數據占總數據的5%左右[Redmen],[Orr98]數據錯誤的危害性高昂的操作費用糟糕的決策制定組織的不信任分散管理的注意力**數據預處理的形式數據清理數據集成數據變換數據歸約**2.2描述性數據匯總均值分布式度量sum()count()min()max()代數度量average()mean()加權平均截斷平均減小極端值的影響整體度量中位數眾數中列數(max+min)/22.2.1度量數據的中心趨勢

第3章數據倉庫和數據挖掘的OLAP技術本章要點數據倉庫的基本概念多維數據模型數據倉庫的系統結構數據倉庫實現數據立方體技術的近一步發展從數據倉庫到數據挖掘數據倉庫的發展自從NCR公司為WalMart建立了第一個數據倉庫。1996年，加拿大的IDC公司調查了62家實現了數據倉庫的歐美企業，結果表明：數據倉庫為企業提供了巨大的收益。早期的數據倉庫大都采用當時流行的客戶/服務器結構。近年來分布式對象技術飛速發展，整個數據倉庫體系結構從功能上劃分為若干個分布式對象，這些分布式對象不僅可以直接用于建立數據倉庫，還可以在應用程序中向用戶提供調用的接口。

*2008年3月數據挖掘概念與技術*第1章引言本章要點數據倉庫的發展數據挖掘數據挖掘的類型數據挖掘常用技術數據挖掘解決的典型商業問題*數據倉庫的發展自從NCR公司為WalMart建立了第一個數據倉庫。1996年，加拿大的IDC公司調查了62家實現了數據倉庫的歐美企業，結果表明：數據倉庫為企業提供了巨大的收益。早期的數據倉庫：大都客戶/服務器結構。近年來：數據倉庫體系結構從功能上劃分為若干個分布式對象，可以直接用于建立數據倉庫，還可以在應用程序中向用戶提供調用的接口。

開始！大家好~~~~~我是這次的分享者賴志鵬，主要分享內容是BI大數據BI商業智能把商業智能看成一種解決方案應該比較恰當。商業智能的關鍵是從許多來自不同的企業運作系統的數據中提取出有用的數據并進行清理，以保證數據的正確性，然后經過抽取（Extraction）、轉換（Transformation）和裝載（Load），即ETL過程，合并到一個企業級的數據倉庫里，從而得到企業數據的一個全局視圖，在此基礎上利用合適的查詢和分析工具、數據挖掘工具、OLAP工具等對其進行分析和處理（這時信息變為輔助決策的知識），最后將知識呈現給管理者，為管理者的決策過程提供數據支持。數據倉庫模型設計與業務的關系分析需求，與客戶溝通需求。建模確定輸入尋找數據源預處理（不一定存在）數據挖掘（不一定存在）輸出結果算法手機號碼中

C4.5是做什么的？C4.5 以決策樹的形式構建了一個分類器。為了做到這一點，需要給定 C4.5 表達內容已分類的數據集合。 等下，什么是分類器呢？ 分類器是進行數據挖掘的一個工具，它處理大量需要進行分類的數據，并嘗試預測新數據所屬的類別。 舉個例子吧，假定一個包含很多病人信息的數據集。我們知道每個病人的各種信息，比如年齡、脈搏、血壓、最大攝氧量、家族病史等。這些叫做數據屬性。 給定這些屬性，我們想預測下病人是否會患癌癥。病人可能會進入下面兩個分類：會患癌癥或者不會患癌癥。 C4.5 算法會告訴我們每個病人的分類。

通常認為ETL 就是數據抽取, 轉換, 加載的過程, 完全正確. 就像數據庫就是存儲和管理數據的工具一樣, 然而數據庫并不全部是數據的存儲, 最重要的是管理, 即數據的并發性一致性可恢復性管理, 包括一系列的進程和內存的管理等等.ETL 工具本身也是同樣的問題. 如果只是抽取轉換加載, 相信通過PowerBuilder 的數據管道技術并加以封裝或者一系列的語言工具編碼可以做到, 并非很難的事情. 之所以思考, 是因為閱讀了一下, 當然也只是粗略的看了一下, 其實所有成熟的ETL 工具都是相類似的, 都是在相互借鑒中不斷的完善的結果.

數據倉庫系統，ETL是關鍵的一環。說大了，ETL是數據整合解決方案，說小了，就是導數據的工具。回憶一下工作這么些年來，處理數據遷移、轉換的工作倒還真的不少。但是那些工作基本上是一次性工作或者很小數據量，使用access、DTS或是自己編個小程序搞定。可是在數據倉庫系統中，ETL上升到了一定的理論高度，和原來小打小鬧的工具使用不同了。究竟什么不同，從名字上就可以看到，人家已經將倒數據的過程分成3個步驟，E、T、L分別代表抽取、轉換和裝載。

Kettle是一款國外開源的etl工具，純java編寫，綠色無需安裝，數據抽取高效穩定(數據遷移工具)。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數據的基礎轉換，job則完成整個工作流的控制。

Kettle工具在實際中的一些應用說明這里我就kettle工具在實際當中的一些應用做一些簡單的說明，關于kettle工具的各個選項說明請參照以下文檔。

Talend使用手冊

Cognos10安裝配置手冊天善智能—專注BI商業智能和數據庫性能優化想學習BI商業智能？想掌握真正的數據庫技術?趕緊加入天善智能，獲取天善多年來商業智能的實戰文檔、視頻等資料

介紹（一）**FrameworkManager介紹（二）FrameworkManager給CognosReportNet提供元數據模型開發環境用FrameworkManager對來自一個或多個數據源的數據業務展現進行建模在FrameworkManager中，所創建的項目包含：一個模型名字空間數據源參數映射包**FrameworkManager介紹（三）**FrameworkManager介紹（四）**命名規范**了解數據源**設置關系標準**定義函數集默認是包含所有的數據庫函數**查詢主題（一）查詢主題有三種類型，每個查詢類似于數據庫中的視圖**查詢主題（二）數據源查詢主題**查詢主題（三）模型查詢主題**查詢間關系（一）在查詢主題上右鍵新建查詢間關系**查詢間關系