搜索后端工程師 職位描述：負責分布式索引和搜索系統的開發 任職要求： 計算機相關專業，3年以上開發工作經驗，本科 軟件知識結構全面，算法基本功扎實，有良好的Java基礎 有Solr & Lucene 的開發經驗 熟悉SQL 語言，有MySQL的開發經驗 有 Hadoop， NoSQL數據庫等開發經驗的優先 高度的工作熱情和工作積極性，學習能力強，較強的責任心，良好的溝通能力

Hadoop是一個用于運行應用程序在大型集群的廉價硬件設備上的框架。Hadoop為應用程序透明的提供了一組穩定/可靠的接口和數據運動。在Hadoop中實現了Google的MapReduce算法，它能夠把應用程序分割成許多很小的工作單元，每個單元可以在任何集群節點上執行或重復執行。此外，Hadoop還提供一個分布式文件系統用來在各個計算節點上存儲數據，并提供了對數據讀寫的高吞吐率。由于應用了map/

找hadoop找到這里，留個腳印

去 Google 工作想必是許多人的夢想。還記得以前有位老兄 Matthew Epstein 嗎？他專門制作了一個 googlepleasehireme 網站，想以此混進 Google。雖然 Techcrunch 的編輯好心的預言他會被雇傭，但最終結果還是碰了壁。Google 讓他走正規渠道。 　　Google 之所以有吸引力不僅因為它的龐大，它的野心和夢想，而且因為那里的環境非常人性化。那里有免費午餐、干洗店、健身中心、游泳池和視頻游戲區。員工們甚至可以帶著寵物來上班。

軟件認為，呼叫中心員工最重要的素質不是經驗而是性格，實際結果也證實了軟件的判斷。如今，有越來越多的公司把招聘職責交給某個程序。以往根據工作經歷和面試來招聘的崗位現在依據的是性格測試和數據分析。

京東商城招聘了~~ 崗位職責: 1、 負責風險控制系統、管理系統、大數據系統等設計、研發以及維護、優化工作； 2、 協助業務方梳理業務需求，提供業務規劃方案、架構設計方案，并能根據方案展開研發工作；（高級及以上） 3、 帶領團隊攻克高并發、高穩定性，業務模型復雜等帶來的各種挑戰及技術難關；（高級及以上） 4、 參與項目的系統設計和核心代碼開發，指導和培訓其他工程師； （高級及以上）

??HDFS以透明方式校驗所有寫入它的數據，并在默認設置下，會在讀取數據時驗證校驗和。針對數據的每個io.bytes.per.checksum(默認512字節)字節，都會創建一個單獨的校驗和。 數據節點負責在存儲數據及其校驗和之前驗證它們收到的數據。 從客戶端和其它數據節點復制過來的數據。客戶端寫入數據并且將它發送到一個數據節點管線中，在管線的最后一個數據節點驗證校驗和。

趣文：如果像招聘程序員那樣招聘木匠

一．Hadoop核心角色hadoop框架Hadoop使用主/從（Master/Slave）架構，主要角色有NameNode，DataNode，secondaryNameNode，JobTracker，TaskTracker組成。其中NameNode，secondaryNameNode，JobTracker運行在Master節點上，DataNode和TaskTracker運行在Slave節點上。?1，NameNodeNameNode是HDFS的守護程序，負責記錄文件是如何分割成數據塊的，以及這些數據塊被存儲到哪些數據節點上。它的功能是對內存及I/O進行集中管理。

Hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。<br> Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性（fault-tolerent）的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統中的數據。

一、安裝sun的jdk和hadoop，不要使用open-jdk本人安裝的jdk1.7.0.rpm包（默認安裝路勁為/usr/java/jdk1.7.0）解壓hadoop-0.20.2到：/home/hadoop/。

Hadoop是Google MapReduce 的一個Java實現。MapReduce是一種簡化的分布式編程模式，讓程序自動分布到一個由普通機器組成的超大集群上并發執行。就如同java程序員可以不考慮內存泄露一樣， MapReduce的run-time系統會解決輸入數據的分布細節，跨越機器集群的程序執行調度，處理機器的失效，并且管理機器之間的通訊請求。這樣的模式允許程序員可以不需要有什么并發處理或者分布式系統的經驗，就可以處理超大的分布式系統得資源。

Hadoop作為Apache基金會資助的開源項目，由Doug Cutting帶領的團隊進行開發，基于Lucene和Nutch等開源項目，實現了Google的GFS和Hadoop能夠穩定運行在20個節點的集群；2006年1月，Doug Cutting加入雅虎公司，同年2月Apache Hadoop項目正式支持HDFS和MapReduce的獨立開發。同時，新興公司Cloudera為Hadoop提供了商業支持，幫助企業實現標準化安裝，并志愿貢獻社區。Hadoop的最新版本是0.21.0，說明其還在不斷完善發展之中。<br> Hadoop由分布式存儲HDFS和分布式計算MapReduce兩部分組成。HDFS是一個master/slave的結構，就通常的部署來說，在master上只運行一個Namenode，而在每一個slave上運行一個Datanode。MapReduce是Google的一項重要技術，它是一個編程模型，用以進行大數據量的計算。MapReduce的名字源于這個模型中的兩項核心操作：Map和Reduce。Map是把一組數據一對一的映射為另外的一組數據，Reduce是對一組數據進行歸約，映射和歸約的規則都由一個函數指定。

上就出現了一個類似的解決方案，目前它們都屬于Apache的Hadoop項目，對應的分別是：Chubby-->ZooKeeperGFS-->HDFSBigTable-->HBaseMapReduce-->Hadoop目前，基于類似思想的OpenSource項目還很多，如Facebook用于用戶分析的Hive。HDFS作為一個分布式文件系統，是所有這些項目的基礎。分析好HDFS，有利于了解其他系統。由于Hadoop的HDFS和MapReduce是同一個項目，我們就把他們放在一塊，進行分析。下圖是MapReduce整個項目的頂層包圖和他們的依賴關系。Hadoop包之間的依賴關系比較復雜，原因是HDFS提供了一個分布式文件系統，該系統提供API，可以屏蔽本地文件系統和分布式文件系統，甚至象AmazonS3這樣的在線存儲系統。這就造成了分布式文件系統的實現，或者是分布式文件系統的底層的實現，依賴于某些貌似高層的功能。功能的相互引用，造成了蜘蛛網型的依賴關系。一個典型的例子就是包conf，conf用于讀取系統配置，它依賴于fs，主要是讀取配置文件的時候，需要使用文件系統，而部分的文件系統的功能，在包fs中被抽象了。

Hadoop集群搭建機器規格CPU：2個四核2~2.5GHzCPU內存：8~16GBECCRAM(非ECC會產生校驗和錯誤)存儲器：4*1TSATA硬盤（硬盤大小一般是數據量的3—5倍）網絡：千兆以太網PS：namenode一般采用64位硬件，避免32位機java堆3g限制具體規格情況跟數據量有關。

在輸入數據的“邏輯”記錄上應用Map操作得出一個中間Key/value pair集合。在所有具有相同key值的value值上應用Reduce操作，從而達到合并中間的數據，得到一個想要的結果的目的

Google的十個核心技術，而且可以分為四大類： 分布式基礎設施：GFS、Chubby 和 Protocol Buffer。 分布式大規模數據處理：MapReduce 和 Sawzall。 分布式數據庫技術：BigTable 和數據庫 Sharding。 數據中心優化技術：數據中心高溫化、12V電池和服務器整合。

Streaming框架允許任何程序語言實現的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平臺移植。因此可以說對于hadoop的擴展性意義重大，今天簡單說一下。<br> Streaming的原理是用Java實現一個包裝用戶程序的MapReduce程序，該程序負責調用MapReduce Java接口獲取key/value對輸入，創建一個新的進程啟動包裝的用戶程序，將數據通過管道傳遞給包裝的用戶程序處理，然后調用MapReduce Java接口將用戶程序的輸出切分成key/value對輸出。

從網上搜集的各種優化，標記下。 1. 網絡帶寬 Hadoop集群的服務器在規劃時就在統一的交換機下，這是在官方文檔中建議的部署方式。 但是我們的這臺交換機和其他交換機的互聯帶寬有限，所以在客戶端遇到了HDFS訪問速度慢的問題。 把操作集群的客戶端也聯入DataNode的交換機內部，解決了這個問題。 2. 系統參數 對ulimit -c的修改也是官方文檔建議的修改，在集群只有10臺服務器時，并沒有遇

Mapreduce hadoop hive三者關系Hadoop是2005 Google MapReduce的一個Java實現。MapReduce是一種簡化的分布式編程模式，讓程序自動分布到一個由普通機器組成的超大集群上并發執行。就如同java程序員可以不考慮內存泄露一樣，MapReduce的run-time系統會解決輸入數據的分布細節，跨越機器集群的程序執行調度，處理機器的失效，并且管理機器之間的通訊請求。這樣的模式允許程序員可以不需要有什么并發處理或者分布式系統的經驗，就可以處理超大的分布式系統得資源。（就是抽象）不管過去，現在是Apache軟件基金會管理的開源項目基本架構 - Hadoop是如何構成的Hadoop主要由HDFS(HadoopDistributedFileSystem)和MapReduce引擎兩部分組成最底部是HDFS，它存儲Hadoop集群中所有存儲節點上的文件。HDFS的上一層是MapReduce引擎，該引擎由JobTrackers和TaskTrackers組成。