Web爬蟲框架:Upton
Upton 是一個采用Ruby開發,用于簡化web抓取的框架,包含了實用的調試模式。它提供了公共/重復的部分,所以你只需要編寫網站特有的部分。
利用 Upton,你只需要一行代碼就能夠將一個復雜的網站導到CSV文件中。
Upton::Scraper.new("http://website.com/list_of_stories.html"). scrape_to_csv("output.csv", &Upton::Utils.list("#comments li a.commenter-name", :css))
本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!