系統架構概述Yes,WeKAO更強，更高，更持久了解什么是架構了解Alibaba網站架構的歷史掌握Alibaba網站架構的現狀掌握網站架構設計的理念課程目標和內容架構規定了軟件的高層劃分及各部分間的交互架構不是軟件，但架構決策體現于軟件平臺和框架之中架構的優劣決定了業務應用系統的實施能力和發展空間技術搭臺，業務唱戲?架構搭臺，應用唱戲架構永遠在隨著業務的發展而變遷–擁抱變化！什么是架構？B2B架構演化過程1999史前2001石器時代2002中世紀2005工業革命未來星際時代？ Mysql Apache服務器在美國，56KModem，遠程開發、測試、部署1999-史前時代Java服務器使用線程性能比cgi技術使用進程好Java相比Perl，可維護性好，開發效率高Java開始在國內流行史前-石器時代原因開始使用Java模板技術采用WebMacro中間層采用Servlet技術，使用POJO封裝業務邏輯和數據訪問使用BizObj對象封裝基本業務邏輯和數據訪問方法其它業務對象繼承BizObj方法

Thanks for coming – today will talk about Docker based Hadoop provisioning. Quick introduction of who we are - Young startup, from Budapest, Hungary. Janos Matyas – CTO, open source contributor, Hadoop YARN evangelist. Ease Hadoop provisioning – everywhere Automate and unify the process Arbitrary cluster size Same process through a cluster lifecycle (Dev, QA, UAT, Prod) (Auto) scaling Hadoop

主要內容一、Docker介紹及原理二、Docker基本操作三、Docker實踐案例什么是Docker?Docker的生態圈認識Docker Docker VS VM Docker的原理Docker文件系統Docker三大核心Docker操作-倉庫Docker操作-鏡像Docker操作-容器Docker操作-DockerfileDocker操作-API待解決的問題案例架構說明容器配置存儲-etcd配置管理代理-confd與容器聯動第一部分Docker介紹及原理什么是Docker?Docker是一個構建在LXC之上，基于進程容器的輕量級VM解決方案，實現了一種應用程序級別的資源隔離及配額。Docker起源于PaaS提供商dotCloud基于go語言開發

Apache Kylin（麒麟）是由eBay 研發并貢獻給開源社區的Hadoop上的分布式大規模聯機分析（OLAP）平臺。該平臺為Hadoop之上的數據分析提供了標準SQL接口及多維分析能力，在百億數量級別上提供秒級甚至亞秒級的查詢性能。該項目于2014年10月開源，并于當年11月加入Apache 孵化器項目。

ApacheShiro是功能強大并且容易集成的開源權限框架，它能夠完成認證、授權、加密、會話管理等功能。認證和授權為權限控制的核心，簡單來說，認證就是證明你是誰？Web應用程序一般做法通過表單提交用戶名... ?ApacheShiro是功能強大并且容易集成的開源權限框架，它能夠完成認證、授權、加密、會話管理等功能。認證和授權為權限控制的核心，簡單來說，“認證”就是證明你是誰？Web應用程序一般做法通過表單提交用戶名及密碼達到認證目的

準備篇：1、配置防火墻，開啟80端口、3306端口vi/etc/sysconfig/iptables-AINPUT-mstate--stateNEW-mtcp-ptcp--dport80-jACCEPT?#允許80端口通過防火墻-AINPUT-mstate--stateNEW-mtcp-ptcp--dport3306-jACCEPT?#允許3306端口通過防火墻備注：很多網友把這兩條規則添加到防火墻配置的最后一行，導致防火墻啟動失敗，正確的應該是添加到默認的22端口這條規則

Apache Cassandra是一套開源分布式Key-Value存儲系統。它最初由 Facebook開發，用于儲存特別大的數據。 Cassandra不是一個數據庫，它是一個混合型的非關系的數據庫，類似于Google的BigTable。本文主要從以下五個方面來介紹 Cassandra： 1.Cassandra 的數據模型 2.安裝和配制 Cassandra 3.常用編程語言使用Cassandra來存儲數據 4.Cassandra 集群搭建 。Cassandra的數據存儲結構Cassandra的數據模型是基于列族（ColumnFamily）的四維或五維模型。它借鑒了Amazon的Dynamo和Google'sBigTable的數據結構和功能特點，采用Memtable和SSTable的方式進行存儲。在Cassandra寫入數據之前，需要先記錄日志(CommitLog)，然后數據開始寫入到ColumnFamily對應的Memtable中，Memtable是一種按照key排序數據的內存結構，在滿足一定條件時，再把Memtable的數據批量的刷新到磁盤上，存儲為SSTable。

Introduction Quick Introduction to Spark Set up development environment and create the hello world application Notebook Walk-through Spark Streaming Deep dive: Sentiment analysis with Twitter and Watson Tone Analyzer Architectural Overview Set up the Bluemix services: Watson Tone Analyzer, Message Hub and Event Hub Create the Streaming Receiver to connect to Kafka (Scala) Create analytics using Jupyter Notebook (Python) Create Real-time Web Dashboard (Nodejs)

Linux操作系統實用教程第1章Linux基礎1.1Linux簡介1.2利用VMWare虛擬機搭建學習環境第1章Linux基礎本章概述與目前流行的Windows相比，Linux是一個免費開放源代碼的操作系統，其支持多用戶多任務等優秀特點，吸引了一大批從事Linux研究和應用的愛好者，本章主要向初學者介紹什么是Linux，Linux的特點和優勢，Linux的版本以及學習環境的搭建，以便初學者能夠從總體上了解Linux操作系統，并且搭建自己學習Linux的環境。第1章Linux基礎1.1Linux簡介Linux是免費的、不受版權制約、與UNIX兼容的操作系統。由芬蘭人LinusTorvalds于1991年開發出來，目前由來自世界各地的愛好者進行開發和維護。Linux自從誕生以來，憑借其穩定、安全、高性能和高擴展性等優點，得到了廣大用戶的歡迎。

Storm及交通實時數據處理報告人：汪杰宇緒論知識Storm架構一個簡單的Storm例子Storm在交通數據處理中的應用目錄背景：大數據的產生GBTBPBEBZB數據量的增長：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產生了約180EB的數據；在2011年，這個數字達到了1.8ZB。有市場研究機構預測（2009年）：到2020年，整個世界的數據總量將會增長44倍，達到35.2ZB（1ZB=10億TB）！1GB=2^30字節1TB=2^40字節1PB=2^50字節1EB=2^60字節1ZB=2^70字節背景：大數據處理模式主要的處理模式可以分為流處理（streamprocessing）和批處理（batchprocessing）兩種。批處理是先存儲后處理（store-process），而流處理則是直接處理（straight-throughprocess）。（有時也分為在線、離線、近線三種）

狀態收集增加頁面緩存狀態收集增加頁面片段緩存狀態收集數據緩存狀態收集增加webserver狀態收集服務調度分庫狀態收集服務調度分表、DAL和分布式緩存狀態收集服務調度增加更多的webserver狀態收集數據讀寫分離和廉價存儲方案狀態收集大型分布式應用和廉價服務器群狀態收集服務調度實現框架Zookeeper服務集群管理ThriftRPC實現服務模塊Nagios數據采集監控ZooKeeper Zookeeper從設計模式角度來看，是一個基于觀察者模式設計的分布式服務管理框架，負責存儲和管理大家都關心的數據，然后接受觀察者的注冊，一旦這些數據的狀態發生變化，Zookeeper就將負責通知已經在Zookeeper上注冊的那些觀察者做出相應的反應，從而實現集群管理。

總目錄第1部分Linux操作系統第1章操作系統概述第2章處理機管理第3章存儲管理第4章調度第5章設備第6章文件系統第2部分操作系統命令及shell編程第7章Linux基本命令第8章使用vi編輯文件第9章shell編程第3部分系統管理第10章Linux系統軟件的獲取和安裝第11章賬號管理第12章文件系統管理第13章TCP/IP網絡管理第14章備份與恢復第15章XWindow及Genie應用程序第1部分Linux操作系統第1章操作系統概述1.1操作系統簡介1.2操作系統接口1.3操作系統功能1.4操作系統結構1.5Linux操作系統介紹1.6Linux的內核特征1.7Linux的發展及展望1.8小結習題操作系統是計算機系統的基本系統軟件。軟件系統中操作系統是所有軟件的核心。操作系統負責控制、管理計算機的所有軟件、硬件資源，是惟一直接和硬件系統打交道的軟件，是整個軟件系統的基礎部分，同時還為計算機用戶提供良好的界面。

Part1：IT部署視圖演化及挑戰Part2：動態基礎設施Part3：SaaS架構關注技術Part4：Q&AIT系統部署視圖演化-1N輪視圖演化后架構演化面對的挑戰Part1：IT部署視圖演化及挑戰Part2：動態基礎設施Part3：SaaS架構關注技術Part4：Q&A云計算關鍵特性基礎設施供應生命周期資源池動態伸縮CloudCloudDDDDDDDDDPart1：IT部署視圖演化及挑戰Part2：動態基礎設施Part3：SaaS關注技術Part4：Q&ASaaS關鍵特性高伸縮：多租戶，功能可配置，流程可配置SaaS架構關注內容數據存儲的挑戰傳統解決方案VS新興解決方案SQL集群技術-MySQL集群方案有點缺點速度適用場合NDB可用于負載均衡場合；可用于高可靠性場合；高伸縮性；真正的數據庫冗余；容易維護。隨著數據庫的變大，對RAM的需求變得更大，因此成本很高幾乎比典型的單獨服務器（無千兆以太網，無SCI卡，存儲引擎相關的限制少）慢10倍。

2012-01-04目標在同一機器上，使用apache和tomcat配置一個可以高可用的web網站，將6個Tomcat：tomcat_8801,tomcat_8802,tomcat_8803,tomcat_8804,tomcat_8805,tomcat_8806配置成三組互相復制Session的群組:比如Tomcat_8801和Tomcat_8802互相同步Session,比如Tomcat_8803和Tomcat_8804互相同步Session,比如Tomcat_8805和Tomcat_8806互相同步Session.網站最終部署結構圖，將如下圖所示：需達到以下要求：Apache做HttpServer，后面連接多組tomcatCluster實例，并進行負載均衡;

Apache 安裝圖解

Apache+Tomcat集群配置本文Apache+Tomcat集群配置基于最新的Apache和Tomcat，具體是2011年4月20日最新的Tomcat和Apache集群和負載均衡配置。準備環境ApacheApache是http服務器，我們利用其對Tomcat進行負載均衡。

Apache HTTP Server（簡稱Apache）是Apache軟件基金會的一個開放源碼的網頁服務器，可以在大多數計算機操作系統中運行，由于其多平臺和安全性[1]被廣泛使用，是最流行的Web服務器端軟件之一。它快速、可靠并且可通過簡單的API擴展，將Perl/Python等解釋器編譯到服務器中。 Apache 起初由伊利諾伊大學香檳分校的國家超級電腦應用中心（NCSA）開發。此后，Apache 被開放源代碼團體的成員不斷的發展和加強。Apache 服務器擁有牢靠可信的美譽，已用在超過半數的因特網站中－特別是幾乎所有最熱門和訪問量最大的網站。

我們程序員最煩兩件事：1，寫代碼的時候還要寫文檔，太tm麻煩！2，接手別人的代碼，tn的居然沒有文檔！借用童心童老大微信里的一句話自己不愛寫文檔抱怨別人沒文檔平等對待自己和別人，養成寫作總結的習慣文檔不只是代碼1，打電話的時候變小！2，看視頻、玩游戲、看書時變大！奇酷手機發布小機機15%打電話、小手機85%大屏才過癮空空才能做到只有孫悟空和cj空能做到目錄積分系統介紹1設計2開發3工具4積分、等級、榮譽、云幣商城對用戶進行激勵就是為了讓用戶更多的使用其產品或者服務，這樣才能實現產品的價值。而積分體系就是比較常用的一種對用戶的激勵方式。

Apache監控與調整總結監控關注點配置監控/opt/IBMIHS/conf/httpd.confStartServers:控制進程在最初建立MinSpareServers:最少空閑的進程MaxSpareServers：最大空閑的進程ServerLimit2000：最大進程數MaxClients1000：設定的是Apache可以同時處理的請求MaxRequestsPerChild：設置的是每個子進程可處理的請求數/opt/IBMIHS/logsaccess_log常用監控工具

消息系統、協議與技術消息系統及其結構STOMP/JMS/AMQP/MQTTEIP與SEDA常見開源消息中間件ZeroMQ Fqueue ActiveMQ與ApolloKafka與MetaQ RabbitMQ MQ選型與未來發展展望消息系統、協議與技術Messaging耦合->松耦合同步->異步化直接請求->緩沖壓力A系統B系統OnewayA系統B系統RequestResponseA系統B系統sendA系統B系統