“十三五”期間，隨著我國現代信息技術的蓬勃發展，信息化建設模式發生根本性轉變,一場以云計算、大數據、物聯網、移動應用等技術為核心的“新IT”浪潮風起云涌，信息化應用進入一個“新常態”。***（某政府部門）為積極應對“互聯網+”和大數據時代的機遇和挑戰，適應全省經濟社會發展與改革要求，大數據平臺應運而生。

從企業的技術選型角度，hadoop能滿足大數據場景下絕打多數需求，同時在技術可行性與成本上，具有無可比擬額優勢。

Hadoop是Apache軟件基金會所開發的并行計算框架與分布式文件系統。最核心的模塊包括Hadoop Common、HDFS與MapReduce。HDFS是Hadoop分布式文件系統（Hadoop Distributed File System）的縮寫，為分布式計算存儲提供了底層支持。采用Java語言開發，可以部署在多種普通的廉價機器上，以集群處理數量積達到大型主機處理性能。HDFS采用master/slave架構。一個HDFS集群包含一個單獨的NameNode和多個DataNode。NameNode作為master服，它負責管理文件系統的命名空間和客戶端對文件的訪問。NameNode會保存文件系統的具體信息，包括文件信息、 文件被分割成具體block塊的信息、以及每一個block塊歸屬的DataNode的信息。對于整個集群來說，HDFS通過NameNode對用戶提供 了一個單一的命名空間。DataNode作為slave服務，在集群中可以存在多個。通常每一個DataNode都對應于一個物理節點。DataNode負責管理節點上它們擁有 的存儲，它將存儲劃分為多個block塊，管理block塊信息，同時周期性的將其所有的block塊信息發送給NameNode。

城市大數據平臺，首先是作為一個數據管理平臺，核心需求是數據的存和取，然后因為海量數據、多數據類型的信息需要有豐富的數據接入能力和數據標準化處理能力，有了技術能力就需要縱深挖掘附加價值更好的服務，如信息統計、分析挖掘、全文檢索等，考慮到面向的客戶對象有的是上層的應用集成商，所以要考慮靈活的數據接口服務來支撐。

在本篇文章中，我將對機器學習做個概要的介紹。本文的目的是能讓即便完全不了解機器學習的人也能了解機器學習，并且上手相關的實踐。這篇文檔也算是EasyPR開發的番外篇，從這里開始，必須對機器學習了解才能進一步介紹EasyPR的內核。當然，本文也面對一般讀者，不會對閱讀有相關的前提要求。

Hadoop是一個開發和運行處理大規模數據的軟件平臺,是Apache的一個用java語言實現開源軟件框架，Hadoop集群是一種專門為存儲和分析海量非結構化數據而設計的特定類型的集群。本質上，它是一種計算集群，即將數據分析的工作分配到多個集群節點上，從而并行處理數據。Hadoop框架中最核心設計就是：HDFS和MapReduce.

本教程使用Ubuntu12.0464位作為系統環境（Ubuntu14.04也行，32位、64位均可），請自行安裝系統裝好了Ubuntu系統之后，在安裝Hadoop前還需要做一些必備工作。

?在云計算環境中，很多時候需要用它其他機器的計算資源，我們有可能會在接收到Message進行處理時，會把一部分計算任務分配到其他節點來完成。那么，RabbitMQ如何使用RPC呢？在本篇文章中，我們將會通過其它節點求來斐波納契完成示例。

從本篇文章開始，我們將結合更加實際的應用場景來講解更多的高級用法。??

在這篇文章中，我們將會將同一個Messagedeliver到多個Consumer中。這個模式也被成為"publish/subscribe"。??

?? 上篇文章中，我們構建了一個簡單的日志系統。接下來，我們將豐富它：能夠使用不同的severity來監聽不同等級的log。比如我們希望只有error的log才保存到磁盤上。 1. Bindings綁定 ??? 上篇文章中我們是這么做的綁定： [python]view plaincopy 1. channel.queue_bind(exchange=exchange_name,?? 2. ????

本文將使用Python（pika0.9.8）實現從Producer到Consumer傳遞數據”Hello,World“。????

?RabbitMQ是一個由erlang開發的AMQP（AdvancedMessageQueue）的開源實現。AMQP的出現其實也是應了廣大人民群眾的需求，雖然在同步消息通訊的世界里有很多公開標準（如COBAR的IIOP，或者是SOAP等），但是在異步消息處理中卻不是這樣，只有大企業有一些商業實現（如微軟的MSMQ，IBM的WebsphereMQ等），因此，在2006年的6月，Cisco、Redhat、iMatix等聯合制定了AMQP的公開標準。???