大眾點評數據平臺架構變遷

jopen 10年前發布 | 66K 次閱讀架構軟件架構

以下從數據&架構&應用的角度對2012.07-2013.12期間大眾點評數據平臺的架構變遷做一個概括性的總結，希望對還處在數據平臺發展初期的同學有一些幫助，歡迎線下溝通。

1.0（2012.07）

數據：

以支持用戶報表需求為主
初步沉淀出了一些底層模型
模型計算程序以python為主
架構：
1. 存儲和計算都在GreenPlum
GreenPlum采用雙集群熱備，一大一小，部分關鍵報表數據同時在兩個集群存儲、計算。
3.傳輸：公司的DBA同學將數據從Mysql、SQLServer拉出來，落地成文件。傳輸程序每天凌晨解析落地的文件，然后將數據load到greenplum
4.調度：使用Quartz框架，依賴關系存放到表中，將依賴檢查做成一個腳本，下游job 調用方法check上游任務是否完成
5.監控：用戶程序自主判斷異常，郵件、手機報警。
數據應用：
1.報表數據以郵件的形式發送給用戶
2.用戶可以使用自定義sql的web查詢工具主動查詢數據</p>
2.0（2013.04）

模型：
有了明確的模型分層：
　a) ODS:存放從原系統采集來的原始數據
b) DW:保存經過清洗，轉換和重新組織的歷史數據，數據將保留較長時間,滿足系統最細粒度的查詢需要
c) DM: 數據集市。基于部門或某一特定分析主題需要
d) RPT:直接面向用戶的報表
形成了流量、團購、信息三大基礎模型及構建于三大基礎模型之上的數據集市
基于volocity開發了canaan計算框架。
開發了一些自定義的UDF
架構：
存儲和計算都基于HIVE
GREENPLUM作為HIVE的“cache”存在，供用戶做一些小數據的快查詢，報表存儲。
調度：和canaan框架進行整合，支持用戶快速新增任務，并自動導入任務依賴。
主數據：保存了數據倉庫元數據信息，供用戶查詢和系統內部各個模塊交互。
ACL：構建了數據倉庫數據訪問權限控制，包括用戶權限申請、審批者審批、數據賦權等。
傳輸：
a)參考阿里DataX的設計，實現了點評的異構數據離線傳輸工具wormhole
b)可視化界面，用戶通過界面操作，方便的將數據導入導出數據
c)和調度、主數據等系統打通
監控：由于任務數量增長較快（2000+），運維已經是個問題此外，因此，我們花了較大精力做了可視化的工作：

數據應用
1. 運營工具：用戶自定義SQL，存儲基于HIVE
指標（KPI）：用戶自定義SQL，計算基于HIVE，結果放到GREENPLUM中，用戶可以根據指標通過時間拼接成報表
HIVE WEB：非常便捷的HIVE WEB工具，可用性可以甩hive原生的web界面HWI幾條街了</p>
3.0（2013.12）

模型：
有了明確的上層數據集市，各層數據集市打通，例如團購數據和流量數據打通
形成了用戶集市、商戶集市兩大主題
和算法團隊合作建設推薦系統
提供框架和工具支持，引入外部數據開發者
架構：
1. 引入mysql、hbase，支持線上服務
數據訪問接口支持：API、Query Engine、RPC Service
引入shark支持臨時查詢，出于穩定性考慮，犧牲性能，shark/spark集群和hadoop/hive集群物理隔離
數據質量：用戶指定以條件，對計算結果做檢查
數據產品：
支持DashBoard
NEXT:
準實時、實時計算支持&平臺整合
完善現有展示體系，支持OLAP
數據開發平臺建設
DAL層建設