Hunk/Hadoop: 性能最佳實踐

無論有沒有使用Hunk，當運行Hadoop時，有很多種方式導致偶爾的性能底下。多數時候人們是增加更多的硬件來解決問題，但是有時候只需要簡單更改下文件的名稱就可以解決問題。

運行Map-Reduce任務[Hunk]

Hunk運行在Hadoop之上，但是這并不意味著一定做到有效的使用。如果Hunk運行在“復雜模式”，而不是“智能模式”的話，它就沒有真正的用到Map-Reduce。相反它會直接將所有的Hadoop數據拉到Splunk引擎，并在那里處理它。

HDFS存儲[hadoop]

在Hadoop的很多事項和Hunk有關聯時如何部署文件？你需要在文件路徑中包含時間戳，Hunk可以使用目錄結構來當作一個過濾器，可以極大的減少被拉到Splunk的數據量。

在文件名稱中包含時間戳也可以生效，但是效果較差，因為Hunk仍然會讀取所有的文件名。

為了更好的性能，你可以在文件路徑中包含一個健－值對。例如 “…/2015/3/2/app=webserver/…” 。在遍歷目錄時查詢指令會將包含鍵－值對的過濾掉，再次減少了被拉到Splunk的數據量。

基于時間戳的VIX/indexs.conf[hunk]

當文件存儲模式對于任何的Hadoop Map-Reduce有利時，你就需要修改indexs.conf，以讓Hunk可以識別目錄結構。

文件格式[Hunk]

諸如JSON和CSV這樣的自我描述的文件，對于Hunk來說是很容易讀取的，它們更加的詳細，且消除了代價昂貴的映射操作。

壓縮類型／文件大小 ［Hdaoop］

要避免過大的文件，例如500MB的GZ壓縮且沒有分片的文件。（諸如LZO壓縮的分片文件也是可以接受的。）對于沒有分片的文件來說，在 core和文件之間是一對一的映射關系，這就意味著只能有一個core來處理大文件，而其它定core只能空轉等待。也就是說處理沒有分片的文件花費了大量的時間，那么Map－Reduce的任務就無法快速的處理。

同樣，你也應該避免使用大量的大小在幾十KB到幾百KB之間的碎文件。如果文件太小，你會在啟動和管理任務花費大量的時間，而不是真正的用在處理數據本身之上。

報告加速[hunk]

Hunk現在可以利用Splunk的報告加速功能了，這會在HDFS中緩存搜索的結果，減少或消除了需要從主的Hadoop集群中讀取數據量。

在你啟用此功能之前，請確保你的Hadoop集群擁有足夠的空間來存儲緩存。

硬件[Hadoop]

確保你擁有合適的硬件。雖然Hadoop是能夠運行在甚至是雙核的筆記本電腦中，但是你要真正使用它，還是需要每個節點擁有至少4顆4個核的CPU，為了能夠確保擁有足夠的暫存空間，你須配置至少12GB的內存，兩塊本地磁盤(10K或固態)

搜索Head Clustering[Hunk]

搜索Head Clustering在Splunk 6.2中是相對較新的一個特性，在Splunk6.3中，對于基于Hunk的查詢將是一個可行的屬性。

查看英文原文： Hunk/Hadoop:Performance Best Practices