海量數據處理常用思路和方法
大數據量的問題是很多面試筆試中經常出現的問題，比如baidu google 騰訊 這樣的一些涉及到海量數據的公司經常會問到。
下面的方法是我對海量數據的處理方法進行了一個一般性的總結，當然這些方法可能并不能完全覆蓋所有的問題，但是這樣的一些方法也基本可以處理絕大多數遇到的問題。下面的一些問題基本直接來源于公司的面試筆試題目，方法不一定最優，如果你有更好的處理方法，歡迎與我討論。
1.Bloom Filter
Bloom Filter 的定義：
Bloom filter 是由 Howard Bloom 在 1970 年提出的二進制向量數據結構，它具有很好的空間和時間效率，被用來檢測一個元素是不是集合中的一個成員，這種檢測只會對在集合內的數據錯判，而不會對不是集合內的數據進行錯判，這樣每個檢測請求返回有“在集合內（可能錯誤）”和“不在集合內（絕對不在集合內）”兩種情況，可見 Bloom filter 是犧牲了正確率換取時間和空間。
Bloom Filter 的計算方法：
如需要判斷一個元素是不是在一個集合中，我們通常做法是把所有元素保存下來，然后通過比較知道它是不是在集合內，鏈表、樹都是基于這種思路，當集合內元素個數的變大，我們需要的空間和時間都線性變大，檢索速度也越來越慢。 Bloom filter 采用的是哈希函數的方法，將一個元素映射到一個 m 長度的陣列上的一個點，當這個點是 1 時，那么這個元素在集合內，反之則不在集合內。這個方法的缺點就是當檢測的元素很多的時候可能有沖突，解決方法就是使用 k 個哈希 函數對應 k 個點，如果所有點都是 1 的話，那么元素在集合內，如果有 0 的話，元素則不在集合內。
Bloom Filter的特點：
Bloom filter 優點就是它的插入和查詢時間都是常數，另外它查詢元素卻不保存元素本身，具有良好的安全性。它的缺點也是顯而易見的，當插入的元素越多，錯判“在集合內”的概率就越大了，另外 Bloom filter 也不能刪除一個元素，因為多個元素哈希的結果可能在 Bloom filter 結構中占用的是同一個位，如果刪除了一個比特位，可能會影響多個元素的檢測。
適用范圍：
可以用來實現數據字典，進行數據的判重，或者集合求交集
基本原理及要點：
對于原理來說很簡單，位數組+k個獨立hash函數。將hash函數對應的值的位數組置1，查找時如果發現所有hash函數對應位都是1說明存在，很明顯這個過程并不保證查找的結果是100%正確的。同時也不支持刪除一個已經插入的關鍵字，因為該關鍵字對應的位會牽動到其他的關鍵字。所以一個簡單的改進就是 counting Bloom filter，用一個counter數組代替位數組，就可以支持刪除了。
還有一個比較重要的問題，如何根據輸入元素個數n，確定位數組m的大小及hash函數個數。當hash函數個數k=(ln2)*(m/n)時錯誤率最小。在錯誤率不大于E的情況下，m至少要等于n*lg(1/E)才能表示任意n個元素的集合。但m還應該更大些，因為還要保證bit數組里至少一半為0，則m應該>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2為底的對數)。
舉個例子我們假設錯誤率為0.01，則此時m應大概是n的13倍。這樣k大概是8個。
注意這里m與n的單位不同，m是bit為單位，而n則是以元素個數為單位(準確的說是不同元素的個數)。通常單個元素的長度都是有很多bit的。所以使用bloom filter內存上通常都是節省的。
擴展：
Bloom filter將集合中的元素映射到位數組中，用k（k為哈希函數個數）個映射位是否全1表示元素在不在這個集合中。Counting bloom filter（CBF）將位數組中的每一位擴展為一個counter，從而支持了元素的刪除操作。Spectral Bloom Filter（SBF）將其與集合元素的出現次數關聯。SBF采用counter中的最小值來近似表示元素的出現頻率。
Bloom Filter在病毒特征代碼匹配上有重要的應用；
問題實例1：
給你A,B兩個文件，各存放50億條URL，每條URL占用64字節，內存限制是4G，讓你找出A,B文件共同的URL。如果是三個乃至n個文件呢？
根據這個問題我們來計算下內存的占用，4G=2^32大概是40億*8大概是340億，n=50億，如果按出錯率0.01算需要的大概是650億個bit。現在可用的是340億，相差并不多，這樣可能會使出錯率上升些。另外如果這些urlip是一一對應的，就可以轉換成ip，則大大簡單了。
問題實例2：
假設要你寫一個網絡蜘蛛（web crawler）。由于網絡間的鏈接錯綜復雜，蜘蛛在網絡間爬行很可能會形成“環”。為了避免形成“環”，就需要知道蜘蛛已經訪問過那些URL。給一個URL，怎樣知道蜘蛛是否已經訪問過呢？稍微想想，就會有如下幾種方案：
1. 將訪問過的URL保存到數據庫。
2. 用HashSet將訪問過的URL保存起來。那只需接近O(1)的代價就可以查到一個URL是否被訪問過了。
3. URL經過MD5或SHA-1等單向哈希后再保存到HashSet或數據庫。
4. Bit-Map方法。建立一個BitSet，將每個URL經過一個哈希函數映射到某一位。
方法1~3都是將訪問過的URL完整保存，方法4則只標記URL的一個映射位。
以上方法在數據量較小的情況下都能完美解決問題，但是當數據量變得非常龐大時問題就來了。
方法1的缺點：數據量變得非常龐大后關系型數據庫查詢的效率會變得很低。而且每來一個URL就啟動一次數據庫查詢是不是太小題大做了？
方法2的缺點：太消耗內存。隨著URL的增多，占用的內存會越來越多。就算只有1億個URL，每個URL只算50個字符，就需要5GB內存。
方法3：由于字符串經過MD5處理后的信息摘要長度只有128Bit，SHA-1處理后也只有160Bit，因此方法3比方法2節省了好幾倍的內存。
方法4消耗內存是相對較少的，但缺點是單一哈希函數發生沖突的概率太高。還記得數據結構課上學過的Hash表沖突的各種解決方法么？若要降低沖突發生的概率到1%，就要將BitSet的長度設置為URL個數的100倍。
實質上上面的算法都忽略了一個重要的隱含條件：允許小概率的出錯，不一定要100%準確！也就是說少量url實際上沒有沒網絡蜘蛛訪問，而將它們錯判為已訪問的代價是很小的——大不了少抓幾個網頁唄。
2.Hashing</div>
適用范圍：
基本原理及要點：
hash函數選擇，針對字符串，整數，排列，具體相應的hash方法。
碰撞處理，一種是open hashing，也稱為拉鏈法；另一種就是closed hashing，也稱開地址法，opened addressing。
擴展：
d-left hashing中的d是多個的意思，我們先簡化這個問題，看一看2-left hashing。2-left hashing指的是將一個哈希表分成長度相等的兩半，分別叫做T1和T2，給T1和T2分別配備一個哈希函數，h1和h2。在存儲一個新的key時，同時用兩個哈希函數進行計算，得出兩個地址h1[key]和h2[key]。這時需要檢查T1中的h1[key]位置和T2中的h2[key]位置，哪一個位置已經存儲的（有碰撞的）key比較多，然后將新key存儲在負載少的位置。如果兩邊一樣多，比如兩個位置都為空或者都存儲了一個key，就把新key 存儲在左邊的T1子表中，2-left也由此而來。在查找一個key時，必須進行兩次hash，同時查找兩個位置。
問題實例1：
海量日志數據，提取出某日訪問百度次數最多的那個IP。
IP的數目還是有限的，最多2^32個，所以可以考慮使用hash將ip直接存入內存，然后進行統計。
3.bit-map </span>
適用范圍：可進行數據的快速查找，判重，刪除，一般來說數據范圍是int的10倍以下 </span>
基本原理及要點：使用bit數組來表示某些元素是否存在，比如8位電話號碼 </span>
擴展：bloom filter可以看做是對bit-map的擴展 </span>
問題實例： </span>
1)已知某個文件內包含一些電話號碼，每個號碼為8位數字，統計不同號碼的個數。 </span>
8位最多99 999 999，大概需要99m個bit，大概10幾m字節的內存即可。 </span>
2)2.5億個整數中找出不重復的整數的個數，內存空間不足以容納這2.5億個整數。 </span>
將bit-map擴展一下，用2bit表示一個數即可，0表示未出現，1表示出現一次，2表示出現2次及以上。或者我們不用2bit來進行表示，我們用兩個bit-map即可模擬實現這個2bit-map。 </span>
4.堆 </span>
適用范圍：海量數據前n大，并且n比較小，堆可以放入內存 </span>
基本原理及要點：最大堆求前n小，最小堆求前n大。方法，比如求前n小，我們比較當前元素與最大堆里的最大元素，如果它小于最大元素，則應該替換那個最大元素。這樣最后得到的n個元素就是最小的n個。適合大數據量，求前n小，n的大小比較小的情況，這樣可以掃描一遍即可得到所有的前n元素，效率很高。 </span>
擴展：雙堆，一個最大堆與一個最小堆結合，可以用來維護中位數。 </span>
問題實例： </span>
1)100w個數中找最大的前100個數。 </span>
用一個100個元素大小的最小堆即可。 </span>
5.雙層桶劃分 ----其實本質上就是【</span>分而治之</strong></span>】的思想，重在“分”的技巧上！</span>
適用范圍：第k大，中位數，不重復或重復的數字 </span>
基本原理及要點：因為元素范圍很大，不能利用直接尋址表，所以通過多次劃分，逐步確定范圍，然后最后在一個可以接受的范圍內進行。可以通過多次縮小，雙層只是一個例子。 </span>
擴展： </span>
問題實例： </span>
1).2.5億個整數中找出不重復的整數的個數，內存空間不足以容納這2.5億個整數。 </span>
有點像鴿巢原理，整數個數為2^32,也就是，我們可以將這2^32個數，劃分為2^8個區域(比如用單個文件代表一個區域)，然后將數據分離到不同的區域，然后不同的區域在利用bitmap就可以直接解決了。也就是說只要有足夠的磁盤空間，就可以很方便的解決。 </span>
2).5億個int找它們的中位數。 </span>
這個例子比上面那個更明顯。首先我們將int劃分為2^16個區域，然后讀取數據統計落到各個區域里的數的個數，之后我們根據統計結果就可以判斷中位數落到那個區域，同時知道這個區域中的第幾大數剛好是中位數。然后第二次掃描我們只統計落在這個區域中的那些數就可以了。 </span>
實際上，如果不是int是int64，我們可以經過3次這樣的劃分即可降低到可以接受的程度。即可以先將int64分成2^24個區域，然后確定區域的第幾大數，在將該區域分成2^20個子區域，然后確定是子區域的第幾大數，然后子區域里的數的個數只有2^20，就可以直接利用direct addr table進行統計了。 </span>
6.數據庫索引 </span>
適用范圍：大數據量的增刪改查 </span>
基本原理及要點：利用數據的設計實現方法，對海量數據的增刪改查進行處理。 </span>
擴展： </span>
問題實例： </span>
7.倒排索引(Inverted index) </span>
適用范圍：搜索引擎，關鍵字查詢 </span>
基本原理及要點：為何叫倒排索引？一種索引方法，被用來存儲在全文搜索下某個單詞在一個文檔或者一組文檔中的存儲位置的映射。 </span>
以英文為例，下面是要被索引的文本： </span>
T0 = "it is what it is" </span>
T1 = "what is it" </span>
T2 = "it is a banana" </span>
我們就能得到下面的反向文件索引： </span>
"a": {2} </span>
"banana": {2} </span>
"is": {0, 1, 2} </span>
"it": {0, 1, 2} </span>
"what": {0, 1} </span>
檢索的條件"what", "is" 和 "it" 將對應集合的交集。 </span>
正向索引開發出來用來存儲每個文檔的單詞的列表。正向索引的查詢往往滿足每個文檔有序頻繁的全文查詢和每個單詞在校驗文檔中的驗證這樣的查詢。在正向索引中，文檔占據了中心的位置，每個文檔指向了一個它所包含的索引項的序列。也就是說文檔指向了它包含的那些單詞，而反向索引則是單詞指向了包含它的文檔，很容易看到這個反向的關系。 </span>
擴展： </span>
問題實例：文檔檢索系統，查詢那些文件包含了某單詞，比如常見的學術論文的關鍵字搜索。 </span>
8.外排序 </span>
適用范圍：大數據的排序，去重 </span>
基本原理及要點：外排序的歸并方法，置換選擇 敗者樹原理，最優歸并樹 </span>
擴展： </span>
問題實例： </span>
1).有一個1G大小的一個文件，里面每一行是一個詞，詞的大小不超過16個字節，內存限制大小是1M。返回頻數最高的100個詞。 </span>
這個數據具有很明顯的特點，詞的大小為16個字節，但是內存只有1m做hash有些不夠，所以可以用來排序。內存可以當輸入緩沖區使用。 </span>
9.trie樹 </span>
適用范圍：數據量大，重復多，但是數據種類小可以放入內存 </span>
基本原理及要點：實現方式，節點孩子的表示方式 </span>
擴展：壓縮實現。 </span>
問題實例： </span>
1).有10個文件，每個文件1G， 每個文件的每一行都存放的是用戶的query，每個文件的query都可能重復。要你按照query的頻度排序 。 </span>
2).1000萬字符串，其中有些是相同的(重復),需要把重復的全部去掉，保留沒有重復的字符串。請問怎么設計和實現？ </span>
3).尋找熱門查詢：查詢串的重復度比較高，雖然總數是1千萬，但如果除去重復后，不超過3百萬個，每個不超過255字節。 </span>
10.分布式處理 mapreduce </span>
適用范圍：數據量大，但是數據種類小可以放入內存 </span>
基本原理及要點：將數據交給不同的機器去處理，數據劃分，結果歸約。 </span>
擴展： </span>
問題實例： </span>
1).The canonical example application of MapReduce is a process to count the appearances of </span>
each different word in a set of documents: </span>
void map(String name, String document): </span>
// name: document name </span>
// document: document contents </span>
for each word w in document: </span>
EmitIntermediate(w, 1); </span>
void reduce(String word, Iterator partialCounts): </span>
// key: a word </span>
// values: a list of aggregated partial counts </span>
int result = 0; </span>
for each v in partialCounts: </span>
result += ParseInt(v); </span>
Emit(result); </span>
Here, each document is split in words, and each word is counted initially with a "1" value by </span>
the Map function, using the word as the result key. The framework puts together all the pairs </span>
with the same key and feeds them to the same call to Reduce, thus this function just needs to </span>
sum all of its input values to find the total appearances of that word. </span>
2).海量數據分布在100臺電腦中，想個辦法高效統計出這批數據的TOP10。 </span>
3).一共有N個機器，每個機器上有N個數。每個機器最多存O(N)個數并對它們操作。如何找到N^2個數的中數(median)？ </span>
經典問題分析 </span>
上千萬or億數據（有重復），統計其中出現次數最多的前N個數據,分兩種情況：可一次讀入內存，不可一次讀入。 </span>
可用思路：trie樹+堆，數據庫索引，劃分子集分別統計，hash，分布式計算，近似統計，外排序 </span>
所謂的是否能一次讀入內存，實際上應該指去除重復后的數據量。如果去重后數據可以放入內存，我們可以為數據建立字典，比如通過 map，hashmap，trie，然后直接進行統計即可。當然在更新每條數據的出現次數的時候，我們可以利用一個堆來維護出現次數最多的前N個數據，當然這樣導致維護次數增加，不如完全統計后在求前N大效率高。 </span>
如果數據無法放入內存。一方面我們可以考慮上面的字典方法能否被改進以適應這種情形，可以做的改變就是將字典存放到硬盤上，而不是內存，這可以參考數據庫的存儲方法。 </span>
當然還有更好的方法，就是可以采用分布式計算，基本上就是map-reduce過程，首先可以根據數據值或者把數據hash(md5)后的值，將數據按照范圍劃分到不同的機子，最好可以讓數據劃分后可以一次讀入內存，這樣不同的機子負責處理各種的數值范圍，實際上就是map。得到結果后，各個機子只需拿出各自的出現次數最多的前N個數據，然后匯總，選出所有的數據中出現次數最多的前N個數據，這實際上就是reduce過程。 </span>
實際上可能想直接將數據均分到不同的機子上進行處理，這樣是無法得到正確的解的。因為一個數據可能被均分到不同的機子上，而另一個則可能完全聚集到一個機子上，同時還可能存在具有相同數目的數據。比如我們要找出現次數最多的前100個，我們將1000萬的數據分布到10臺機器上，找到每臺出現次數最多的前 100個，歸并之后這樣不能保證找到真正的第100個，因為比如出現次數最多的第100個可能有1萬個，但是它被分到了10臺機子，這樣在每臺上只有1千個，假設這些機子排名在1000個之前的那些都是單獨分布在一臺機子上的，比如有1001個，這樣本來具有1萬個的這個就會被淘汰，即使我們讓每臺機子選出出現次數最多的1000個再歸并，仍然會出錯，因為可能存在大量個數為1001個的發生聚集。因此不能將數據隨便均分到不同機子上，而是要根據hash 后的值將它們映射到不同的機子上處理，讓不同的機器處理一個數值范圍。 </span>
而外排序的方法會消耗大量的IO，效率不會很高。而上面的分布式方法，也可以用于單機版本，也就是將總的數據根據值的范圍，劃分成多個不同的子文件，然后逐個處理。處理完畢之后再對這些單詞的及其出現頻率進行一個歸并。實際上就可以利用一個外排序的歸并過程。 </span>
另外還可以考慮近似計算，也就是我們可以通過結合自然語言屬性，只將那些真正實際中出現最多的那些詞作為一個字典，使得這個規模可以放入內存。 </span>
轉載請注明出處：http://bbs.xjtu.edu.cn </span>
作者phylips@bmy </span>
參考文獻： </span>
http://blog.csdn.net/jiaomeng/archive/2007/03/08/1523940.aspx d-Left Hashing </span>
http://blog.csdn.net/jiaomeng/archive/2007/01/27/1495500.aspx </span>
http://en.wikipedia.org/wiki/Bloom_filter </span>
http://hi.baidu.com/xdzhang_china/blog/item/2847777e83fb020229388a15.html 應用Bloom Filter的幾個小技巧 </span>
http://zh.wikipedia.org/wiki/%E5%80%92%E6%8E%92%E7%B4%A2%E5%BC%95
</span>