經過多年的計算機應用和市場積累，許多企業保存了大量原始數據和各種業務數據,它是企業生產經營活動的真實記錄，并且這些數據以幾何的方式增長由于缺乏集中存儲和管理，這些數據不能為本企業加以利用,不能進行有效的統計、分析及評估，無法將這些數據轉換成企業有用的信息如何在堆積如山的企業交易數據中發現具有商業價值的閃光點？如何使您的企業或組織在激烈的市場競爭中保持對客戶的吸引力？如何預先發現和避免企業運作過程中不易察覺的商業風險？面臨的挑戰面臨的挑戰什么是數據倉庫？

Cognos8.3 (web配置安裝)

1.hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供完整的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析。<br> 　　2.Hive是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL），這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。Hive 定義了簡單的類 SQL 查詢語言，稱為 HQL，它允許熟悉 SQL 的用戶查詢數據。同時，這個語言也允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理內建的 mapper 和 reducer 無法完成的復雜的分析工作。

Cognos高級知識庫議程系統架構安裝與配置系統管理安全性管理高級報表設計Cognos8的BI產品Cognos8的BI產品，對以往的技術和思想進行了較大幅度的提升和創新，把用戶的操作方式全面推向以瀏覽器為前端的Web方式。它在一個產品中、一個架構上提供了極其豐富的業務智能功能。

BillInmon（數據倉庫之父）在Buildingthe Data Warehouse（John Wiley&Sons Inc.,1996）書中把數據倉庫描述為一個“面向主題的、完整的、非易失的、不同時間的、用于支持決策管理的數據集合”。數據倉庫是只用于制作報表的數據庫。對我們而言，數據倉庫是某個“寬廣”的數據倉儲。它包括許多的主題領域。而一個數據集市，恰恰相反，它把眼睛盯在商業活動的某個非常有限的部分上。


HIVE學習筆記。B2B-技術部-數據產品平臺。Hive 是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL），這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。Hive 定義了簡單的類 SQL 查詢語言，稱為 QL，它允許熟悉 SQL 的用戶查詢數據。同時，這個語言也允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理內建的 mapper 和 reducer 無法完成的復雜的分析工作。

Hive 是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL），這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。Hive 定義了簡單的類 SQL 查詢語言，稱為 QL，它允許熟悉 SQL 的用戶查詢數據。同時，這個語言也允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理內建的 mapper 和 reducer 無法完成的復雜的分析工作。

1.Map輸入合并小文件對應參數：setmapred.max.split.size=256000000;

這篇文檔的目的是教會開發人員如何開始進行?Pentaho?的開發。這篇文檔解釋了如何在?Eclipse?中設置一個開發環境，包括如何連接到?Pentaho Subversion repository，檢出?Pentaho?項目，使用一個?'1stand-alone'1?Java?應用和Eclipse JBoss IDE?來構建調試它們。這篇文檔也解釋了?Pentaho repository?結構和對于開發Pentaho?來說，許多很重要的?build targets。<br> 目標讀者是軟件開發人員。我們假設讀者已經很熟悉?Eclipse?平臺和?Java?開發。如果目的是將平臺配置為一個?J2EE?應用，我們假設讀者了解?J2EE?和應用服務器。我們此處就是使用?JBoss?應用服務器進行演示。雖然不是很重要，但如果讀者有使用?Apache Ant?的經驗也會很有用處。

數據倉庫與數據挖掘原理及應用目錄數據倉庫基礎7.分類和預測數據倉庫設計和實現8.關聯分析數據倉庫實例9.Web挖掘OLAP和OLAM10.數據挖掘實例5.數據挖掘基礎11.知識聚類分析12.語義網和本體1數據倉庫基礎1.1引言1.2體系結構1.3組成1.4元數據1.5數據粒度1.6數據模型1.7ETL1.1引言數據倉庫定義數據倉庫是在企業管理和決策中面向主題的、集成的、與時間相關的、不可修改的數據集合。此定義由最為權威的、被稱為“數據倉庫之父”的WilliamH.Inmon先生給出。

Hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供完整的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析。目錄1Hive定義2Hive體系結構2.1用戶接口2.2元數據存儲2.3解釋器、編譯器、優化器、執行器2.4Hadoop3Hive的數據存儲1Hive定義Hive[1]是建立在Hadoop上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL）(Extraction-Transformation-Loading)，這是一種可以存儲、查詢和分析存儲在Hadoop中的大規模數據的機制。Hive定義了簡單的類SQL查詢語言，稱為HQL，它允許熟悉SQL的用戶查詢數據。

數據挖掘在軟件工程中的應用摘要隨著軟件系統的規模和復雜性日益增長,軟件開發已經演變成一項復雜的系統工程。軟件工程中的對象、活動和過程更加難以控制和管理,因此該領域原有的經驗直覺型的處理模式已經不能適應新的需求,而數據挖掘技術的引入為實現知識智能型軟件工程提供了重要契機。以軟件工程領域中的數據對象為主線,對在程序代碼分析、故障檢測、軟件項目管理、開源軟件開發等軟件活動中所運用到的數據挖掘技術進行了系統的介紹和歸納,并在每一環節作了方法間的優劣性對比分析。

算法（Algorithm）：一個定義完備（well-defined）的過程，它以數據作為輸入并產生模型或模式形式的輸出 描述型挖掘（Descriptive） vs 預測型挖掘（Predictive） 描述型挖掘：對數據進行概括，以方便的形式呈現數據的重要特征 預測型挖掘：根據觀察到的對象特征值來預測它的其他特征值 描述型挖掘可以是目的，也可以是手段

1決策樹算法機器學習中，決策樹是一個預測模型；它代表的是對象屬性值與對象值之間的一種映射關系。樹中每個節點表示某個對象，每個分叉路徑則代表的某個可能的屬性值，而每個葉結點則對應具有上述屬性值的子對象。決策樹僅有單一輸出；若需要多個輸出，可以建立獨立的決策樹以處理不同輸出。從數據產生決策樹的機器學習技術叫做決策樹學習,通俗說就是決策樹。決策樹學習也是數據挖掘中一個普通的方法。

Mahout簡介什么是機器學習Mahout算法介紹聚類K-means分類貝葉斯分類過程手機上網推薦實例推薦算法講解Mahout開源（apache許可）可伸縮的機器學習算法庫與Hadoop緊密結合Mahout主要功能應用程序Examples分類推薦聚類通用工具包數學工具包集合類Hadoop集成機器學習監督學習（supervisedlearning）利用一組已知類別的樣本調整分類器的參數，使其達到所要求性能的過程，也稱為監督訓練或有教師學習。

Hive 是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL），這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。Hive 定義了簡單的類 SQL 查詢語言，稱為 QL，它允許熟悉 SQL 的用戶查詢數據。同時，這個語言也允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理內建的 mapper 和 reducer 無法完成的復雜的分析工作。

Kettle使用方法說明文檔

BI開源工具調研報告BI系統的簡述從技術角度來說BI包含了ETL、DW、OLAP、DM等多環節。簡單的說就是把交易系統已經發生過的數據，通過ETL工具抽取到主題明確的數據倉庫中，OLAP后生成Cube或報表，透過Portal展現給用戶，用戶利用這些經過分類、聚集、描述和可視化的數據，支持業務決策。

利用Kettle做集成的兩種方式簡要說明

　　　Heer ETL Tool主要功能是將老系統原有的數據通過整合器將數據標準化后入庫，并按照需求保持與原有系統中數據的同步，使新老系統的數據可以共享。