Redis數據導入工具優化過程總結

Redis數據導入工具優化過程總結

背景

優化效果

優化前，a表耗時11.417s；優化后，a表耗時1.883s；

用到的工具

gprof, pstrace,time

優化過程

優化前11.417s：

time ./redistool im a a.csv
real    0m11.417s
user    0m6.035s
sys     0m4.782s （發現系統調用時間過長）

文件內存映射

系統調用時間過長，主要是文件讀寫，初步考慮是讀取文件時，調用api次數過于頻繁；讀取樣本采用的是文件fgets一行行的讀取，采用文件內存映射mmap后，可直接使用指針操作整個文件內存快；

日志開關提前

改進了文件讀寫后，發現優化效果比較有限（提高了2s左右）；fgets是C的文件讀取庫函數，相比系統read()，是帶了緩沖區了，應該不會太慢（網上有人測試，文件內存映射相比fgets()能快上一個數量級，感覺場景應該比較特殊）；

之后通過pstrace工具發現log.dat打開次數過多；原來是調試日志的開關寫到了后面，導致 調試日志都是會打開日志文件open("log.dat")；將日志開關提前；改進后，3.53s

time ./redistool im a a.csv
real    0m3.530s
user    0m2.890s
sys     0m0.212s

vector空間預先分配

后續通過gprof分析，某個函數的vector內存分配次數多，并有不少復制次數：改進以下這行代碼：

vector <string> vSegment;

使用靜態vector變量，并預先分配內存：

static vector <string> vSegment;
vSegment.clear();
static int nCount = 0;
if( 0 == nCount)
{
    vSegment.reserve(64);
}
++nCount;

優化后，提升至2.286s

real    0m2.286s
user    0m1.601s
sys     0m0.222s

同樣，另外一個類中的成員vector也使用預先分配空間（在構造函數中)：

m_vtPipecmd.reserve(256);

優化后，提升至2.166s;

real    0m2.166s
user    0m1.396s
sys     0m0.204s

函數改寫 && 內聯

繼續執行程序，發現SqToolStrSplitByCh()函數消耗過大，改寫整個函數邏輯，并將改寫后的函數內聯：優化后，提升至1.937s

real    0m1.937s
user    0m1.301s
sys     0m0.186s

去除調試符和優化監測符號

最后，去掉debug和pg調試符號后，最終效果為1.883s；

real    0m1.883s
user    0m1.239s
sys     0m0.191s

滿足生產要求