架構解剖之美-類-“編碼規范”頭頂三尺有神靈：寫代碼是在和電腦交流;是在和背后的人交流架構示意圖編碼規范代碼質量三要素：可讀、可維護、高效率1.可讀性規范而且好看2.可維護性可讀性支撐了可維護性，但進一步要求代碼易于維護、易于變更3.高效率在關鍵應用場景中。

內容概要：本文分析了大型程序系統設計中經常需要面對的同步和異步結構問題。列舉異步結構模式實現手段，論證異步模式效率遠遠優越于同步模式，證明在硬件資源理想情況下，對同步模式而言并發量對計算機系統的平均交易處理時間沒有影響，對異步模式而言平均交易處理時間會隨著并發量的增大而急劇下降，最終也趨向一個恒定值。在實際有限計算機資源情況下，程序設計必須設置最大并發量以控制并發程度，否則過多并發量會形成交易對硬件資源的競爭，造成交易的擁塞。

本文作者在Cernet做過撥號接入平臺的搭建，而后在Yahoo3721負載搜索引擎前端平臺開發，又在貓撲處理過大型社區貓撲大雜燴的架構升級等工作，同時自己接觸和開發過不少大中型網站的模塊，因此在大型網站應對高負載和并發的解決方案上有一些積累和經驗，可以和大家一起探討一下。　　一個小型的網站，比如個人網站，可以使用最簡單的html靜態頁面就實現了，配合一些圖片達到美化效果，所有的頁面均存放在一個目錄下，這樣的網站對系統架構、性能的要求都很簡單，隨著互聯網業務的不斷豐富，網站相關的技術經過這些年的發展，已經細分到很細的方方面面，尤其對于大型網站來說，所采用的技術更是涉及面非常廣，從硬件到軟件、編程語言、數據庫、WebServer、防火墻等各個領域都有了很高的要求，已經不是原來簡單的html靜態網站所能比擬的。

\數據平臺與產品淘寶網淘寶賣家供應商消費者搜索、瀏覽、收藏、交易、評價...一些數字淘寶主站：30億店鋪、寶貝瀏覽10億計的在線寶貝數千萬量級交易筆數數據產品：50G統計匯總結果千萬量級數據查詢請求平均20.8ms的響應時間（6月1日）海量數據帶來的挑戰計算計算的速度處理吞吐量存儲存儲是為了更方便地查詢硬盤、內存的成本查詢“大海撈針”全“表”掃描架構總覽今天的話題關系型數據庫仍然是王道NoSQL是SQL的有益補充用中間層隔離前后端緩存是系統化的工程關系型數據庫仍然是王道關系型數據庫有成熟穩定的開源產品SQL有較強的表達能力只存儲中間狀態的數據查詢時過濾、計算、排序數據產品的本質拉關系做計算

體系結構概述分布式采集系統是建立在hadoop分布式文件系統和zookeeper分布式協調系統基礎之上的，所有的數據都存儲在分布式文件系統hdfs上，服務器之間的通信、同步等操作都是通過zookeeper服務器完成。采集器的設計全網采集器共分三部分：TaskListner，Crawler，ResultSummiter。TaskListner模塊：用JAVA語言編寫，為了方便的與ZOOKEEPER和HDFS通信。它的主要作用是監測任務文件夾，發現有任務文件生成，便調用一個Crawler程序對任務進行采集。TaskListner可以同時調用多個Crawler程序進程，并行采集。Crawler模塊：用C++語言編寫，它的主要作用是對任務文件中的URL進行采集，采集完成后調用ResultSummiter函數將采集結果上傳到HDFS上。ResultSummiter模塊：用JAVA語言編寫。

數據平臺與產品部圖海云梯1其他集群點擊流日志LogServereveryday…everytime…云梯的存儲職責怎么辦?怎么辦?怎么辦?刪除歷史數據，立竿見影，省力又省事怎么辦?“21世紀核心的競爭是數據的競爭”“誰擁有更多數據，誰就擁有未來”前端交易系統、商品中心、用戶中心等出于效率的考慮，不會長期保存大量歷史數據，而數據倉庫作為企業數據分析及挖掘的基礎設施，天生具有保存歷史數據的職責，非但如此，如何快速、高效的獲取歷史上任意一天的快照數據也成為設計歷史數據存放方式時的重要考量。

1任務1．背景利用所學框架完成以下系統：我公司需要對所有固定資產（包括電腦、桌椅、書籍等辦公設備）分門別類進行登記管理。系統涉及角色包括:系統管理員，固定資產管理員，辦公室主任，普通員工，中層管理人員，高層管理人員。2．功能系統完成功能包括固定資產清單管理（可以按公司、部門、個人查看），固定資產出借管理（可以按公司、部門、個人查看），3．規則固定資產凈值管理（固定資產分5年分攤，每年遞減最初的20%），資產額度大于10000的出借需要辦公室主任批準，其他出借只需資產管理員登記即可。普通員工借用數量不能大于5件，中層管理人員不能大于10件，高層管理人員無限制。此處件數為累積數量2使用框架和環境工具：eclipse3.2?+?jdk1.5+Maven2.0+jetty-5.1+Mysql5.0框架：freemaker+webwork+spring+ibatis3。

此文檔從構架方面對系統進行綜合概述，其中使用了大量不同的構架視圖來描述系統的各個不同方面。 它用于記錄并表述已在構架方面對系統作出的重要決策。 同時此文檔也是在此項目后續具體實施時，各個系統功能模塊的設計和開發的基礎依據。

\高性能網站每秒能處理成千上萬個請求，關鍵是Scalability良好的可伸縮性Caching無處不在的緩存Scalability是系統適應不斷增長用戶數量的能力性能平穩負載均衡、容錯接入保護、Cache緩沖擴容容易所有組件都應當可以簡單擴展無共享架構可控狀態VerticalScaling更大的服務器更快的CPU擴展性/價格比很差超級計算機都是平行擴展的！可伸縮性vs.高性能在系統可擴展的前提下提高性能Web的可擴展性Web服務器負載均衡南北互通Web服務器Web服務器的選擇Apache不適合靜態文件的支持內存、CPU占用比較大非常成熟，功能強大，配置豐富TWS架構中心自主開發對CGI的支持比較獨特CGI性能非常好Qhttpd公司內部軟件只適合靜態文件的支持非常穩定可靠Lighttpd、Nginx內存、CPU開銷小靜態文件性能勝出很多越來越多的網站開始用它性能改進動態、靜態內容分開靜態文件：qhttpd/lighttpd/nginx動態內容：Apache某些靜態文件壓縮傳輸：lighttpd的mod_compress動態內容性能。

一些小型的網站，用簡單的html靜態頁面就可以實現，再配合一些圖片達到美化效果。網站所有的頁面均存放在一個目錄下，這樣的網站對系統架構、性能的要求都很簡單。隨著公司的成長，業務的不斷拓展，功能日益豐富，用戶量不斷增加，數據爆炸式的增長，那種集中單一的系統架構越來越不適應發展需要。例如，我們日常使用的網上電子交易網站淘寶，每天7億次的頁面訪問，其中搜索寶貝過億次，瀏覽寶貝過億次，超過40億次的用戶訪問，超過6億次的交易訪問，超過6億次的寶貝訪問，超過400萬筆有效交易。高峰期，每秒超過25G的流量，核心業務每秒超過4.5G的流量，每秒生成幾百筆交易，8萬次的用戶訪問，1.5萬次的商品訪問。淘寶總共超過22TB的寶貝圖片存儲，超過4億條的在線交易記錄，超過2億的在線寶貝。

基于寬表的自助取數網絡系統設計摘要：電信運營商在日益激烈的市場競爭中，對營銷IT支撐系統的依賴程度越來越高。營業人員在營銷活動中，如何及時地獲取針對不同客戶的營銷數據，成為直接影響營銷效果的關鍵因素之一。在分析營銷人員個性化實時取數需求的基礎上，構建一種基于不同分析主題寬表的自助取數網絡系統，方便營銷人員通過簡單的界面操作實現快捷、實時的自助取數功能。

今天我通過講解微博里面的一些架構，分析一下架構里面哪些共性大家可以參考。首先給大家介紹一下微博架構發展的歷程。新浪微博在短短一年時間內從零發展到五千萬用戶，我們的基層架構也發展了幾個版本。第一版就是是非常快的，我們可以非常快的實現我們的模塊。我們看一下技術特點，微博這個產品從架構上來分析，它需要解決的是發表和訂閱的問題。我們第一版采用的是推的消息模式，假如說我們一個明星用戶他有10萬個粉絲，那就是說用戶發表一條微博的時候，我們把這個微博消息攢成10萬份，這樣就是很簡單了，第一版的架構實際上就是這兩行字。第一版本的技術細節，典型的LAMP架構（LAMP：Linux-Apache-MySQL-PHP），是使用Myisam搜索引擎，它的優點就是速度非常快。另外一個是MPSS，就是多個端口可以布置在服務器上。為什么使用MPSS？假如說我們做一個互聯網應用，這個應用里面有三個單元，我們可以由三種部署方式。我們可以把三個單元部署在三臺服務器上，另外一種部署模式就是這三個單元部署在每個服務器上都有。這個解決了兩個問題，一個是負載均衡，因為每一個單元都有多個結點處理，另外一個是可以防止單點故障。

軟件工程導論第一章本章要點工程的概念軟件工程的發展軟件工程分析三種過程模型工程化思考工程是什么？工程簡而言之就是多人參與并有計劃、有步驟地完成一項任務的活動工程強調目的計劃步驟軟件發展與軟件工程起源軟件的發展四個階段：1950年前后到1960年前后，程序設計階段；1960年前后到1970年前后，軟件系統階段；1970年前后到1980年前后互聯網絡興起，軟件工程階段；1980年前后到現在，分布式軟件工程階段；1968年，北大西洋公約組織的計算機科學家召開國際會議，第一次提出軟件危機的概念，產生了應對軟件危機的對策---軟件工程。軟件工程與建筑工程的對比預算畫設計圖施工質檢可行性分析需求分析詳細設計、概要設計編碼測試興建一座高樓創造一部軟件產品銷售、入住使用銷售、安裝使用工程策略任何工程都有如下的策略：分而治之復用折衷優化檢驗并保證質量軟件工程也會充分利用這些策略分而治之把復雜的問題分解為小的問題并一一解決分而治之圖示復雜問題子問題

本文檔全面與系統地表述目標軟件系統的構架，并通過使用多種視圖來從不同角度描述系統的各個主要方面，以滿足相關涉眾（客戶、設計人員等）對目標系統的不同關注焦點。<br> 本文檔記錄并表述了架構師對系統構架方面做出的重要決策；項目經理將根據構架定義的構件結構制定項目的開發計劃；設計員將據此進行各構件的詳細設計；測試設計員按照構架設計系統的總體測試框架；另外構架文檔還用于指導各構件的實施、集成及測試。

做互聯網應用的兄弟應該都清楚，緩存對于一個互聯網應用是多么的重要，從瀏覽器緩存，反向代理緩存，頁面緩存，局部頁面緩存，對象緩存等等都是緩存應用的場 景。 一般來說緩存根據與應用程序的遠近程度不同可以分為：local cache 和 remote cache。 一般系統中要么采用local cache，要么采用remote cache,兩者混合使用的話對 于local cache和remote cache的數據一致性處理會變 大比較麻煩.

隨著面向服務的架構SOA的興起，銀行核心系統開始了新一輪的“瘦身”運動，將原來核心系統承載的龐大功能逐步分離出來，在業務層面簡化核心系統的功能，提高處理性能和效率，對核心系統與其他應用系統之間的業務流程進行重新設計，按照更加開放、靈活和松耦合的原則合理布局銀行的各類應用系統。

性能優化不是僅局限于后臺----Qzone性能優化報告QQ空間產品中心QwangQzone優化概述存儲優化日志重構訪問優化接入層邏輯層表現層日志重構前問題分析數據量增長過快總數據量9T日增長量約20G擴容需進行大量數據搬遷Cache命中率低（50%），DB壓力大舊系統結構模塊日志回復日志標題日志計數優點CACHE內存化，提升性能多進程號段分布處理業務異步化缺點CACHE量有限，命中率低，對DB的性能依賴比較重模塊相互獨立，容易造成數據不一致Qzone數據層優化（日志重構）與產品經理的Trade-off區分近期日志與往期日志區分活躍數據、非活躍數據和歷史歸檔數據二級緩存（內存+文件）針對單個號碼進行路由新系統結構系統分三個模塊：日志信息、日志標題、訪問計數CGI層對日志標題、訪問計數模塊有讀/寫權限；對日志標題模塊只有讀權限，其數據來源于日志信息模塊日志信息模塊結構日志重構后的特點將數據區分為活躍數據、不活躍數據和歷史歸檔數據

騰訊大講堂09-如何建設高性能網站

可擴展Web架構探討echouzhou高性能網站每秒能處理成千上萬個請求，關鍵是Scalability良好的可伸縮性Caching無處不在的緩存Scalability是系統適應不斷增長用戶數量的能力性能平穩負載均衡、容錯接入保護、Cache緩沖擴容容易所有組件都應當可以簡單擴展無共享架構可控狀態VerticalScaling更大的服務器更快的CPU擴展性/價格比很差超級計算機都是平行擴展的！可伸縮性vs.高性能在系統可擴展的前提下提高性能Web的可擴展性Web服務器負載均衡南北互通Web服務器Web服務器的選擇Apache不適合靜態文件的支持內存、CPU占用比較大非常成熟，功能強大，配置豐富TWS架構中心自主開發對CGI的支持比較獨特CGI性能非常好Qhttpd公司內部軟件只適合靜態文件的支持非常穩定可靠Lighttpd、Nginx內存、CPU開銷小靜態文件性能勝出很多越來越多的網站開始用它性能改進動態.

目錄QQMAIL總體架構服務器性能優化網絡性能優化代碼框架優化QQMAIL總體架構（簡圖）QQ MAIL總體架構Web：支持95%的登錄請求。提供讀信、寫信、用戶信息管理等功能。BG：郵件隊列，負責將本域用戶發出的郵件投遞到目標地址。MX（MaileXchange）：接收外域郵件運營商發往本域的郵件。POP/SMTP：提供基于MailClient的服務。QS：向QQClient提供新郵件Notify服務。Account：存儲郵箱名/UIN映射關系。