為什么說很多NoSQL的Benchmark是扯淡？

正如原作者所言，本文有標題黨之嫌，但確實道出了一個眾所周知的問題。就是很多NoSQL產品的官方 benchmark 過高。雖然本人并不完全同意作者的觀點，但是其不盲從輕信較勁的態度還是值得學習。

抱歉我用了這么一個標題黨的題目做為標題。

寫這篇文章只是想引起大家的注意：在選擇NoSQL產品時，達到標稱性能，需要諸多限制條件，例如本文主要討論的磁盤I/O。

現在NoSQL的產品已經很多了，很多都宣稱“我們的QPS可以達到十萬，甚至百萬”，但是當我們在生產環境中使用的時候，卻明顯的感覺到，隨著數據文件不斷增大，NoSQL的性能卻指數下降，問題處在哪里了？

這些NOSQL的Benchmark的量都有一個前提“你得內存足夠放下你的全部數據文件”

Case1：有人說，我內存16GB，那只能說明你得數據規模還不夠大……我已經經歷被無數上百GB的數據庫折磨過了。此外，你可能需要在1GB內存的虛擬機上支撐數10GB的數據，比如我現在的情況。

繼續討論，一旦內存放不下全部的數據，會怎么辦呢？
有很多策略，但無非都是訪問磁盤，將數據Cache到內存中。

我們先討論最壞的情況，假定每條記錄的偏移是放在內存中，但所有數據都放在磁盤，我們使用fseek等操作來查詢磁盤。

來看下面的測試代碼。

#相關代碼, [四號程序員] http://www.coder4.com
void test_fseek_set()
{
    long offset;
    FILE*fp = NULL;
    long i;

    fp = fopen(FILE_NAME, "r");
    if(!fp)
    {
        printf("Open file fail.\n");
        printf("%s\n",strerror(errno));
        exit(-1);
    }   

    for(i=0; i<TIMES; i++)
    {
        //Because random max is 1<<30 - 1
        offset = random() * 10 % MAX_FILE;
        if(fseek(fp, offset, SEEK_SET))
        {
            printf("fseek error.\n");
            printf("%ld",offset);
            printf("%s\n",strerror(errno));
        }
    }   

    fclose(fp);
}

好了，你猜猜上述隨機fseek的程序在一個7200轉的硬盤上，針對一個4GB的文件隨機訪問，能跑多塊？

答案是QPS<=80。

有人說你騙人，我跑的能到1XXX，那么請你執行下述命令清空你內存中的磁盤緩存。

#相關代碼, [四號程序員] http://www.coder4.com
sync; echo 3 > /proc/sys/vm/drop_caches

很多時候，之所以我們能在小數據時達到NoSQL官方標稱的QPS，而大數據量卻指數下降，都是這些緩存在作怪。說白了，我們很Happy的Benchmark半天，實際是在玩系統的緩存，當然快了。

一旦你的數據文件大于內存磁盤緩存，那么速度會馬上像我列舉的這樣，不會多余80QPS，在一個4GB的文件上。

有人說mmap，我曾經也是這樣YY的，但根據我的測試，事情不是這樣。
我有一個120GB的Tokyo Cabinet數據文件，把內存開滿，它默認會用mmap，然后你會發現top中“VIRT”一列，會顯示為120GB+（換算后），而我得機器內存卻只 有32GB。這時，當你訪問恰好不在內存中的那部分數據時，操作系統會進行非常耗時的換入換出操作(首先就需要fseek等)。在這臺24核、32GB的 機器上，QPS勉強能達到3000（這已經遠遠低于標稱的QPS）,而一旦清空緩存，QPS會迅速跌落到70左右……

可能還會有人說：我沒事閑的為啥要自己清空緩存？

機器不是給你一個NoSQL進程服務的，很多系統其他服務都需要訪問磁盤，讀取文件，漸漸的就會把你Cache起來的內存全部換掉，根據實際測試的 情況，一臺完全閑置的機器，開TT能達到3000, 閑置放置48小時（不開其他服務）， 性能就會驟降到1000左右，再放置72小時左右，就回歸到70的qps了，此時Cache已經基本完全換出。

綜上，mmap不是神，因為你的內存不夠，而其他進程也會爭奪內存來做自己的Cache。

如果你想充分發揮NoSQL的性能，建議用支持集群的NoSQL產品，盡量將全部數據放入內存中。

或者你沒錢購置很多Moster內存的服務器，像我一樣，就不要期望NoSQL能有很驚人的性能了。此時，NoSQL所能帶來的提升，只是關系數據庫所剪掉的那部分開銷，如果你基本沒有什么join，那么可能還會不如關系數據庫。

分析性能，我們不能僅僅看官方的數據比較，要考慮機器的實際情況和自己的數據規模，最終才能分析出瓶頸出在哪里。

對于原作者的觀點，本人提出兩點看法：

• 1.要充分發揮NoSQL性能，并不是一定要盡量把所有數據放到內存，實際上只要保證了熱數據都能裝在內存中就夠了。
• 2.作者舉例中的程序，主要用了磁盤seek，磁盤的seek速度慢，原本就是磁盤物理結構的硬傷，所以許多NoSQL存儲采用了變隨機寫為順序寫的方式，減少磁盤seek操作，也是提升IO性能的良方。

來源：www.coder4.com
轉載：http://blog.nosqlfan.com/html/3086.html