Python/Numpy大數據編程經驗
1.邊處理邊保存數據，不要處理完了一次性保存。不然程序跑了幾小時甚至幾天后掛了，就啥也沒有了。即使部分結果不能實用，也可以分析程序流程的問題或者數據的特點。
2. 及時用 del 釋放大塊內存。Python缺省是在變量范圍（variablescope）之外才釋放一個變量，哪怕這個變量在后面的代碼沒有再被用到，所以需要手動釋放大的array。
注意所有對數組的引用都del之后，數組才會被del。這些引用包括A[2:]這樣的view，即使np.split也只是創建了view，沒有真的把內存分到不同的array里。
3. 矩陣點乘對角陣，用逐行乘可以快幾十、幾百倍：M.dot( diag(v) ) -> M*v。
4. 盡量重用內存。比如
sqrtW = np.sqrt(W)
(W以后再沒有用到了)
這樣多了分配sqrtW內存的時間
可以改寫成
np.sqrt(W,W) # in placesqrt
sqrtW = W # take auser-friendly name as its reference
類似的
A = B + C # B is neverused later
可以改寫成
B += C; A = B
4. 用 ipython 的 run -p prog.py 做profiling，找出耗時最多的語句。
也可以實現簡單的Timer類，打印出耗時流程使用的時間。
5. 把實際代碼高度簡化，只留下使用相同大小的內存和相同多的運算的skeleton，來事先評估算法的時間和空間復雜度。而且可以分塊評估。比如
…… complex and slowroutine to compute V11, Wsum, Gwmean ......
for i in xrange(noncore_size):
wi = Wsum[ i ]
VW = V11.T* wi
VWV =VW.dot(V11)
V21[ i] =np.linalg.inv(VWV).dot( VW.dot(Gwmean[ i]) )
可以寫個test.py，用 np.random.randn() 隨機初始化 V11,Wsum, Gwmean，然后執行這個代碼塊，看出大致所需內存和每個循環的時間，避免了執行之前漫長的計算這些變量的時間。
6.如果是windows，把windows自動安裝更新的選項關掉。不然可能跑了一夜程序，收結果時一看，windows自動重啟過了……哭
。來自：http://weibo.com/p/23041859388e260102vsrx
本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！