P26 多IDC部署的電商網站的緩存管理1.多IDC部署的一般性問題2.基于失效的緩存的多活方案3.登錄狀態的同步復制一號店IDC建設的現狀和將來在多個IDC中部署電商應用有兩個基本動機容災擴容一號店的現狀在上海有2個自有的IDC(數千臺物理機;IDC間帶寬10G,延時小于1ms)2014年雙11促銷時向XXX云服務提供商臨時租用資源一號店的規劃以上海為中心,在周邊180公里范圍內建設若干自有的IDC,其中部署核心應用,應對日常運營之需。促銷時和云服務商合作,應對臨時資源需求。
P27 介紹實時數據平臺背景實時數據平臺解決方案關鍵環節詳解關于平臺產品化京東大數據平臺定位支撐全集團數據業務全集團數據集中自助式服務平臺模式京東大數據平臺發展歷程---技術選型2011年之前2011~20122012~至今京東大數據平臺發展歷程---技術選型傳統商業數據倉庫解決方案弊端高復雜度計算任務并發性差海量數據處理能力不足存儲能力有限擴展性差成本高后期遇到的問題越來越多的ETL任務需要12點后才能完成任務排隊現象嚴重基于流量等大數據量的批量計算和復雜推薦類算法基本無法應付存儲達到上限,需不斷轉移歷史數據京東大數據平臺發展歷程
P29 關系型數據庫支持事務!可是我必須用NoSQL的怎么辦?選擇一個支持事務的NoSQL?還是自己實現一套事務機制?Whydoesitmatter?神馬是事務?保障數據可靠地原子性操作一個事務中多個操作要么同時成功,要么同時失敗工廠之間的貨物轉移是一個典型的事務操作。
P20 JMS即Java消息服務,是由Java官方提供的API,需要第三方Provider提供實現。類似于JDBC,它也是Java官方提供的API,需要其他數據庫廠商提供實現。 JMS是面向消息的中間件(Message-Oriented Middleware),它提供了標準的產生、發送、接收消息的接口,簡化企業應用的開發。
P7 MySQL數據庫雙機熱備份如何實現? 本文詳細講述了怎樣實現MySQL數據庫雙機熱備份。 1、MySQL數據庫沒有增量備份的機制,當數據量太大的時候備份是一個很大的問題。還好MySQL數據庫提供了一種主從備份的機制,其實就是把主數據庫的所有的數據同時寫到備份數據庫中。實現MySQL數據庫的熱備份。
P3 有時候,MySQL出問題的時候自己無法解決了,找百度也只是稍微改了下配置就好了。這是為什么呢?而這篇文章的目的在于給你一份非常重要的配置項清單。以后出什么問題自己先排查下 即使是經驗老道的人也會犯錯,會引起很多麻煩。
P12 希羽大綱典型的業務場景及問題MySQL層的現象問題的本質原因曾經的嘗試方法問題的難點瞬間熱點更新檢測模型瞬間熱點更新線程調度優化效果典型的業務場景及問題MySQL的性能瞬間急劇下降,TPS1W-->200MySQL層的現象絕大部分線程在更新商品庫存量updatetset庫存量-1where...正常的查詢和更新的RT也劇增祈求業務降級以讓DB抗過去問題的本質原因InnoDB層行鎖機制每行更新請求都會創建一個記錄鎖對象成功加鎖則執行,失敗則被掛起相同的記錄鎖被HASH到同一桶中
P23 可擴展大數據(>100TB)增加/減少服務器持續可用易用SQL,ACID高性能TPS(>100k),QPS(>1M)低成本我們需要怎樣的存儲方案?數據總量很大,但每天更新量相對較小Alibaba2012雙十一交易筆數1.1億筆,假設對于某個業務,1筆交易操作10次數據庫:寫事務數:1.1億*10=11億修改增量:11億*100B=110GB數據庫業務的背后設計理念數據=基線數據+修改增量查詢修改系統架構
P15 DBFree阿里數據庫自動化運維平臺陳旭@Alibaba2013-07個人簡介2009年加入淘寶負責淘寶廣告、CRM、商品、社區等業務線經歷阿里去IOE,推動廣告、商品等業務從O到M的轉變目前關注數據庫自動化運維微博:@Orz_dba目錄背景現狀擴容流程如何實現自動化平臺架構平臺功能背景Oracle->MySQL運維方式的轉變軟硬件成本降低機器實例數目增加,帶來復雜的運維成本現狀MySQL服務器:線上2500+,線下500+常見的實例運維業務新項目新環境初始化主機硬件問題。
P19 iDB是什么為什么要開發iDBiDB功能及架構討論iDB是什么阿里集團數據庫服務平臺專注于解決數據庫項目研發效率、數據安全、數據質量問題提供數據查詢、訂正、導出、同步,項目表結構設計、發布、SQL審核等與數據庫有關的功能iDB的面向集團內部所有員工,主要是技術同學,包括研發、QA、DBA、PD等工作效率與數據安全開發人員有數據庫權限?只有DBA有數據庫權限?敏感數據?表結構設計規范命名規范數據類型規范索引規范存儲引擎規范字符集規范主鍵、外鍵、約束規范備注規范
P16 Druid數據庫連接池的特點穩定高效率可擴展可監控可動態配置防SQL注入穩定阿里巴巴大規模部署應用超過500個部署實例超過3000最大集群超過60臺我們大規模使用中,開源連接池只有兩個是穩定的:Druid DataSource JbossDataSource(歷史原因還在使用)穩定的特性-ExceptionSorter當連接產生不可恢復的異常時,需要及時從連接池中清除,否則會產生大量錯誤。
P21 內容大綱CAP的歷史沿革CAP原理介紹CAP,PickTwo?CAP權衡中的經濟考量CAP與ACID的關系分區只是另一段CodePath CAP在實踐中的應用參考資料CAP原理的歷史1997年,Fox&Brewer提出BASE概念
P9 PostgreSQLforredhat源碼安裝文檔。環境說明:最近在學習postgresql,直接下載執行安裝比較簡單,但是安裝目錄不靈活,不符合生產的設計要求,故下載源碼包手動安裝,并記錄如下。
P21 海量數據處理的架構與實踐王延炯企業級數據領域數據治理(元數據、數據標準、數據質量)實時數據整合(流處理)非實時數據整合(批處理)數據發布數據可視化數據源數據治理企業數據的規模、采集和存儲規模100+業務系統10,000+數據庫表100,000+字段存儲
P23 01有需求02有挑戰03有經驗企業SOA服務治理和服務開放的背景服務治理和服務開放平臺架構與關鍵技術介紹服務治理和服務開放案例介紹趨勢:開放、融合、創新的時代引進來走出去企業級IT系統在互聯網時代面臨挑戰外部系統內部系統開放的內涵與目標接口服務(企業IT系統核心能力)數據服務(元數據、數據治理等)能力開放(配額計量、監控服務、OpenAPI、安全管理、開放平臺門戶)云應用運營(支撐開發、部署運行、管控一體化云應用平臺)內部創新(內部業務支撐系統進行拆分與創新研發)外部創新(互聯網環境下第三方開發者團隊/個人基于平臺進行創新)目標內涵應對策略.
P47 Redis簡介Redis是什么功能與特點內部實現(單機)整體數據框架基本數據結構優化機制索引優化內存優化持久化主從備份集群Key-value數據庫設計與其他數據庫對比Redis不足應用場景國際上最大的redis用戶是誰?在眾多的NOSQL數據庫與傳統的關系數據庫中為什么會出現redis?傳統的key-value數據庫(文檔,string類型)有什么不足?----數據結構需求傳統的關系型數據庫IO操作性能問題?----性能需求傳統的內存數據庫有什么不足?
P44 本章通過演示如何使用mysql客戶程序創造和使用一個簡單的數據庫,提供一個MySQL的入門教程。mysql(有時稱為“終端監視器”或只是“監視”)是一個交互式程序,允許你連接一個MySQL服務器,運行查詢并察看結果。mysql可以用于批模式:你預先把查詢放在一個文件中,然后告訴mysql執行文件的內容。本章將介紹使用mysql的兩個方法。
P15 基于Spark/hbase的數據分析平臺及SparkSQl使用經驗分享
P20 OceanBase簡介-原理OceanBase簡介-架構修改增量(增刪改)置于內存:無隨機磁盤寫、性能高單點寫入:數據一致性好,性能&內存容量有瓶頸修改增量與基線數據跨服務器修改增量應用接口基線數據總控中心OceanBase架構-三集群數據多副本跨數據中心,事務同步到多數庫金融業務簡介屌絲的理解:與經濟活動相關的業務卡類服務保險類業務理財類業務金融數據庫的挑戰高可用&IDC容災數據強一致ACID/復雜事務高性能可擴展金融數據庫需要具備什么?
P11 ?在控制臺輸出mdx被解析出來的對應的sql語句步驟