一個簡易的分布式計算系統:Parallel Python

jopen 10年前發布 | 26K 次閱讀 Python Python開發

如何搭建一個快速的分布式計算平臺?Parallel python提供了簡易的方式來實現此目的。


Parallel Python(http://www.parallelpython.com/content/view/15/30/#QUICKCLUSTERS)是Python進行分布式計算的開源模塊,能夠將計算壓力分布到多核CPU或集群的多臺計算機上,能夠非常方便的在內網中搭建一個自組織的分布式計算平臺。

在不同節點運行服務器程序,并自動發現運行服務器的節點,命令如下:

    node-1> ./ppserver.py -a

    node-2> ./ppserver.py -a

    node-3> ./ppserver.py -a

客戶端

    import pp

    ppservers=("*",)  #自動發現模式

    job_server = pp.Server(ppservers=ppservers) 

   提交執行的任務

    f1 = job_server.submit(func1, args1, depfuncs1, modules1)

    f2 = job_server.submit(func1, args2, depfuncs1, modules1)

    f3 = job_server.submit(func2, args3, depfuncs2, modules2) 

    檢索結果

    r1 = f1()

    r2 = f2()

    r3 = f3() 

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!