Web爬蟲框架:Upton

jopen 11年前發布 | 13K 次閱讀 Upton 網絡爬蟲

Upton 是一個采用Ruby開發,用于簡化web抓取的框架,包含了實用的調試模式。它提供了公共/重復的部分,所以你只需要編寫網站特有的部分。

利用 Upton,你只需要一行代碼就能夠將一個復雜的網站導到CSV文件中。

Upton::Scraper.new("http://website.com/list_of_stories.html").
    scrape_to_csv("output.csv", &Upton::Utils.list("#comments li a.commenter-name", :css))

項目主頁:http://www.baiduhome.net/lib/view/home/1374587625793

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!