PySpider：一個國人編寫的強大的網絡爬蟲系統并帶有強大的WebUI

jopen 10年前發布 | 271K 次閱讀 PySpider 網絡爬蟲

PySpider：一個國人編寫的強大的網絡爬蟲系統并帶有強大的WebUI。采用Python語言編寫，分布式架構，支持多種數據庫后端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。在線示例：http://demo.pyspider.org/

  • Write script in python with powerful API

  • Powerful WebUI with script editor, task monitor, project manager and result viewer

  • MySQL, MongoDB, SQLite 作為后臺數據庫

  • Javascript 頁面支持

  • Task priority, retry, periodical and recrawl by age or marks in index page (like update time)

  • Distributed architecture
    • </ul> PySpider：一個國人編寫的強大的網絡爬蟲系統并帶有強大的WebUI


    項目主頁：http://www.baiduhome.net/lib/view/home/1416210955430

 本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！