下圖顯示了Scrapy的大體架構，其中包含了它的主要組件及系統的數據處理流程（綠色箭頭所示）。下面就來一個個解釋每個組件的作用及數據的處理過程。

用scrapy來進行網頁抓取,對于pythoner來說它用起來非常方便

Selenium是一個模擬瀏覽器，進行自動化測試的工具，它提供一組API可以與真實的瀏覽器內核交互。Selenium是跨語言的，有Java、C#、python等版本，并且支持多種瀏覽器，chro...

Upton 是一個采用Ruby開發，用于簡化web抓取的框架，包含了實用的調試模式。它提供了公共/重復的部分，所以你只需要編寫網站特有的部分。

首先它是個crawler，其次它不bad。我覺得不bad那就是good了，所以起名goodcrawler。goodcrawler借用了crawler4j的一點點代碼（只保留了Page等相關結構，...

Scrapy由Python寫成。假如你剛剛接觸Python這門語言,你可能想要了解這門語言起,怎么最好的利用這門語言。假如你已經熟悉其它類似的語言,想要快速地學習Python,我們推薦這種深入方...

webmagic的發起源于工作中的需要，其定位是幫助開發者更便捷的開發一個垂直的網絡爬蟲。 webmagic的功能覆蓋整個爬蟲的生命周期(鏈接提取、頁面下載、內容抽取、持久化)，開發者可以...

heyDr是一款基于java的輕量級開源多線程垂直檢索爬蟲框架，遵循GNU GPL V3協議。

最近在學Python，同時也在學如何使用python抓取數據，于是就被我發現了這個非常受歡迎的Python抓取框架Scrapy，下面一起學習下Scrapy的架構，便于更好的使用這個工具。

這是一個非常簡單易用的抓取工具 怎么使用? 首先你需要創建一個對應站點的規則文件 比如testsite.yaml

一個基于gevent的爬蟲框架，最初的版本在一定程度上模仿了scrapy。

Spiderman 是一個基于微內核+插件式架構的網絡蜘蛛，它的目標是通過簡單的方法就能將復雜的目標網頁信息抓取并解析為自己所需要的業務數據。

最近需要通過網絡爬蟲來收集點數據，想找一些簡單易用的開源版本，總是要么配置起來有點復雜，要么功能上不太容易擴展。還是自己實現一個簡單的版本更容易擴展相應的功能。這個版本的實現完全參照wiki上面...

Snoopy是一個php類，用來模仿web瀏覽器。它可自動獲取網頁內容和提交表單。

JSpider - 高度靈活的Java爬蟲

NWebCrawler是一款開源，C#開發網絡爬蟲程序。

OpenWebSpider是一個開源多線程Web爬蟲和包含許多有趣功能的搜索引擎。

larbin是一種開源的網絡爬蟲/網絡蜘蛛，由法國的年輕人 Sébastien Ailleret獨立開發。larbin目的是能夠跟蹤頁面的url進行擴展的抓取，最后為搜索引擎提供廣泛的數據來源。...

Crawler4j是一個開源的Java Web爬蟲，提供一個用于抓取Web頁面的簡單接口。您可以在5分鐘內建立一個多線程的網絡爬蟲！

Web-Harvest是一個Java開源Web數據抽取工具。它能夠收集指定的Web頁面并從這些頁面中提取有用的數據。Web-Harvest主要是運用了像XSLT,XQuery,正則表達式等這些技...