分布式處理框架:Pyleus

jopen 10年前發布 | 22K 次閱讀 Pyleus Python開發

Pyleus 是一個來自 Yelp 的開源框架,使得 Yelp 的另外一個開源項目 mrjob 可以運行在 Apache Storm 框架上,就像 Hadoop 一樣。開發者可以使用純 Python 實現大數據的處理,并進行快速迭代。

利用Pyleus你能夠:

  • define a topology with a simple YAML file
  • have dependency management with a requirements.txt file
  • run faster thanks to Pyleus’ MessagePack based serializer
  • pass options to your components directly from the YAML file
  • use the Kafka spout built into Storm with only a YAML change

項目主頁:http://www.baiduhome.net/lib/view/home/1413422540700

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!