數據庫的故事數據庫的發展1在數據庫技術誕生之前，數據主要是以File形式存儲的，數據的管理也是由具體的應用自身來完成的，所以這個時期的數據管理和應用邏輯是混在一起的。240年前第一代數據庫技術的誕生，才實現了數據管理與應用邏輯的分離，采用層次結構來描述數據，我們稱之為層次型數據庫(IMS)。至于我們常說RDBMS，其實是第二代數據庫技術，上世紀70年代，來自IBM的E.FCodd博士提出的關系型理論以及SQL語言的發明。實現了數據建模和數據操作處理的標準化，關系型數據庫在其后的20多年的時間取得了長足的發展，得到了廣泛的應用，數據相關的所有理論問題似乎都已經解決。

mongodb的Java驅動API。

新建三個節點目錄，用于存節點數據及日志，內網兩臺實體機，三個mongodb進程，硬盤或機器宕掉，可以真正做到自動切換，自動故障恢復等管理操作。

Redis是一個開源的使用ANSI C語言編寫、支持網絡、可基于內存亦可持久化的日志型、Key-Value數據庫，并提供多種語言的API。從2010年3月15日起，Redis的開發工作由VMware主持。

　Redis 是支持多key-value數據庫(表)的,并用 RedisDb 來表示一個key-value數據庫(表). redisServer 中有一個 redisDb *db; 成員變量, RedisServer 在初始化時,會根據配置文件的 db 數量來創建一個 redisDb 數組. 客戶端在連接后,通過 SELECT 指令來選擇一個 reidsDb,如果不指定,則缺省是redisDb數組的第1個(即下標是 0 ) redisDb. 一個客戶端在選擇 redisDb 后,其后續操作都是在此 redisDb 上進行的. 下面會詳細介紹一下 redisDb 的內存結構.

FastDHT是一個基于鍵值對（Key Value Pair）的高效的分布式Hash系統，她可以用來存儲大量的Key Value Pair，比如可以用來存儲文件名映射表、session數據、用戶相關數據等等。 FastDHT服務器端底層存儲采用Berkeley DB，支持大數據量；網絡IO采用libevent，支持大并發連接。FastDHT只用到了BDB最基本的存儲功能，數據同步是自己實現的，采用了binlog的復制方式。

非關系型數據庫（NoSQL）是一個和之前的關系型數據庫（RDBM）有很大不同的另一類數據結構化存儲管理系統。非關系型數據庫通常沒有固定的表結構，并且避免使用join操作。非關系型數據庫嚴格上不是一種數據庫，應該是一種數據結構化存儲方法的集合。

知不覺房產系統已經使用MongoDB一年多了，記得一年多以前，正是NOSQL被熱炒時，MongoDB更是作為NOSQL中的佼佼者，被炒得火燙，也應該就在當時被這股火燙著了，所以義無反顧的選擇了MongoDB，現在想想當時確實有些沖動了，當時MongoDB的資料還是比較少，更別說中文資料了，后來還出現使用MongoDB成功應用的范例Foursquare的宕機事件。現在確實應該很感謝MongoDB為我們的系統服務了一年了，在這一年的時間里，確實出現過不少的小問題，特別是在管理操作上，這大概也是因為MongoDB在系統維護上不如Mysql那樣有著各種的業界實踐，往往就只能通過管理員自己去摸索。

MongoDB之架構部署(Replica Sets+Sharding)

第一章：MongoDB簡介及安裝<br> 第二章：MongoDB與關系型數據庫語法的對比及使用<br> 第三章：MongoDB集群(Replica Set+Sharding)以及經驗分享<br> 第四章：MongoDB監控工具及備份策略<br> NoSQL(NoSQL = Not Only SQL )，意即反SQL運動，是一項全新的數據庫革命性運動，早期就有人提出，發展至2009年趨勢越發高漲。NoSQL的擁護者們提倡運用非關系型的數據存儲，相對于目前鋪天蓋地的關系型數據庫運用，這一概念無疑是一種全新的思維的注入。

Agenda基礎知識數據模型數據分布策略存儲機制數據讀寫刪面向未來NoSql背景隨著互聯網大規模的Web2．0應用的興起，隨著云計算需要的大規模分布式服務和分布式存儲的發展，傳統的關系數據庫面臨著諸多全新的挑戰，特別是在那些超大規模和高并發的SNS類型的應用場景下，使用關系數據庫來存儲和查詢用戶動態數據已經顯得力不從心，暴露了很多難以克服的問題，例如需要很高的實時插入性能；需要海量的數據存儲能力同時還需要非常快的查詢檢索速度；需要將數據存儲無縫擴展到整個群集環境下，并且能夠在線擴展等等。

大數據時代；關系數據庫的瓶頸；NoSQL的優勢；CAP理論；NoSQL數據模型及分類；NoSQL應用現狀。重點介紹幾個NoSQL主要內容隨著網民參與互聯網產品和應用的程度越來越深，互聯網將更加智能，互聯網的數據量也將呈爆炸式增長一、大數據時代大交易數據：來自電商的數據，包括B2B、B2C、C2C、團購等大交互數據：來自社交網絡的數據，SNS、微博等兩類數據的有效融合將是大勢所趨，這種融合更能增強企業的商業洞察力一、大數據時代大數據的特征3V——Volume（海量）、Variety（多樣）、Velocity（實時）海量 - 數據量巨大，對TB、PB數據級的處理，已經成為基本配置。

輕量級的高性能消息隊列服務,生產者消費者 跨機器的共享內存 Redis的主要缺點是數據庫容量受到物理內存的限制，不能用作海量數據的高性能讀寫，并且它沒有原生的可擴展機制，不具有scale（可擴展）能力，要依賴客戶端來實現分布式讀寫，因此Redis適合的場景主要局限在較小數據量的高性能操作和運算上。

Redis 是一種面向“鍵/值”對類型數據的分布式NoSQL數據庫系統，特點是高性能，持久存儲，適應高并發的應用場景。它起步較晚，發展迅速，目前已被許多大型機構采用。<br> 你也許已經知道Redis并不是簡單的key-value存儲，實際上他是一個數據結構服務器，支持不同類型的值。也就是說，你不必僅僅把字符串當作鍵所指向的值。下列這些數據類型都可作為值類型。

基于MongoDB的大規模高頻金融交易數據處理

NoSQL 應用視角擴展性，可用性與可靠性的抉擇

當前架構為單shard+replica Set模式，雙服務器為雙Shard+Replica Set模式。同一個Shard中的primary和Secondary存儲內容一致。而雙Shard則是兩個Shard分布式存儲不同數據，備份由shard內部進行。 雙服務器中的兩個Shard各含一個primary ，一個secondary，和一個arbiter（arbiter的唯一作用是在primary 宕機后選舉新的primary時擁有投票權，用以使存活節點數大于50%，不包括50%，否則系統將整個down掉，以及在票數相同的情況下用以打破選舉的平衡，并不存儲和讀取數據）。

NoSQL數據庫，顧名思義就是打破了傳統關系型數據庫的范式約束。很多NoSQL數據庫從數據存儲的角度看也不是關系型數據庫，而是key-value數據格式的hash數據庫。由于放棄了關系數據庫強大的SQL查詢語言和事務一致性以及范式約束，NoSQL數據庫在很大程度上解決了傳統關系型數據庫面臨的諸多挑戰。 在社區中，NoSQL是指“not only sql”，其特點是非關系型，分布式，開源，可水平擴展，模式自由，支持replication，簡單的API，最終一致性（相對于即時一致性，最終一致性允許有一個“不一致性窗口”，但能保證最終的客戶都能看到最新的值）。

mongoDB部署 集群包含一個或者多個shard shard存儲數據集合的一部分數據 shard為replica set集群 一個replica set由一個primary和多個secondary和arbiter(可選）組成 如果primary失效，自動選舉一個secondary為primary 寫入請求只能在primary上做單點寫入維持數據一致性 讀取請求會發送給primary，最終的讀取操作分布在多個secondary上 數據讀取和寫入請求自動路由到集群的shard 集群包含多個配置服務器 數據分區信息（哪些數據存放在哪些shard上） 集群中包含多個請求路由器 Mongos，接收數據寫入讀取請求，并將請求路由到目標shard上 一個路由器可以服務多個客戶端app App通過程序擴展接口連接mongos

.NET 客戶端連接Redis 介紹