一個簡易的分布式計算系統:Parallel Python
如何搭建一個快速的分布式計算平臺?Parallel python提供了簡易的方式來實現此目的。
Parallel Python(http://www.parallelpython.com/content/view/15/30/#QUICKCLUSTERS)是Python進行分布式計算的開源模塊,能夠將計算壓力分布到多核CPU或集群的多臺計算機上,能夠非常方便的在內網中搭建一個自組織的分布式計算平臺。
在不同節點運行服務器程序,并自動發現運行服務器的節點,命令如下:
node-1> ./ppserver.py -a
node-2> ./ppserver.py -a
node-3> ./ppserver.py -a
客戶端
import pp
ppservers=("*",) #自動發現模式
job_server = pp.Server(ppservers=ppservers)
提交執行的任務
f1 = job_server.submit(func1, args1, depfuncs1, modules1)
f2 = job_server.submit(func1, args2, depfuncs1, modules1)
f3 = job_server.submit(func2, args3, depfuncs2, modules2)
檢索結果
r1 = f1()
r2 = f2()
r3 = f3()
本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!