Combine 是一個用Perl語言開發可擴展的Web資源爬蟲程序。

JobHunter旨在自動地從一些大型站點來獲取招聘信息，如chinahr,51job,zhaopin等等。JobHunter 搜索每個工作項目的郵件地址，自動地向這一郵件地址發送申請文本。

HiSpider是一個快速和高性能的網頁爬蟲。 嚴格說只能是一個spider系統的框架, 沒有細化需求, 目前只是能提取URL, URL排重, 異步DNS解析, 隊列化任務, 支持N機分布...

Methanol是一個可編寫腳本，多用途的Web爬蟲系統。擁有一個可擴展配置系統和速度優化架構設計。

ItSucks是一個Java Web爬蟲開源項目。可靈活定制，支持通過下載模板和正則表達式來定義下載規則。提供一個控制臺和Swing GUI操作界面。

Erlang Bot (Ebot)是一個開源的Web爬蟲，構建在 Erlang， NOSQL數據庫( Apache CouchDB 或 Riak)， RabbitMQ, Webmachine (...

jcrawl是一款小巧性能優良的的web爬蟲,它可以從網頁抓取各種類型的文件,基于用戶定義的符號,比如email,qq.

DotNetWikiBot Framework 是一個全功能的客戶端API和一個控制臺應用，用來構建抓取基于 MediaWiki 網站的爬蟲，采用 .NET 開發。

WebSPHINX是一個Java類包和Web爬蟲的交互式開發環境。Web爬蟲(也叫作機器人或蜘蛛)是可以自動瀏覽與處理Web頁面的程序。WebSPHINX由兩部分組成：爬蟲工作平臺和WebSPH...

Spidr是一個多功能的Ruby web 爬蟲庫。它可以抓取一個網站，多個域名或某些鏈接。Spidr被設計成快速和容易使用。

WebLech URL Spider是一個功能強大的Web站點下載與鏡像工具。它支持按功能需求來下載web站點并能夠盡可能模仿標準Web瀏覽器的行為。WebLech有一個功能控制臺并采用多線程操作。

JoBo是一個用于下載整個Web站點的簡單工具。它本質是一個 Web Spider。與其它下載工具相比較它的主要優勢是能夠自動填充form(如：自動登錄)和使用cookies來處理session。

Arale能夠下載整個網站或來自網站的某一特定資源。Arale還能夠把動態頁面渲染成靜態頁面。

spidernet是一個以遞歸樹為模型的多線程web爬蟲程序, 支持text/html資源的獲取. 可以設定爬行深度, 最大下載字節數限制, 支持gzip解碼, 支持以gbk(gb2312)和u...

NCrawler是一個簡單并且非常高效的多線程網絡爬蟲。采用C#開發，基于管道的處理器。

Arachnid是一個基于Java的web spider框架.它包含一個簡單的HTML剖析器能夠分析包含HTML內容的輸入流.通過實現Arachnid的子類就能夠開發一個簡單的Web spide...

Scrapy 是一套基于基于Twisted的異步處理框架，純python實現的爬蟲框架，用戶只需要定制開發幾個模塊就可以輕松的實現一個爬蟲，用來抓取網頁內容以及各種圖片。

用JAVA編寫的web 搜索和爬蟲，包括全文和分類垂直搜索，以及分詞系統。

larbin是一種開源的網絡爬蟲/網絡蜘蛛，由法國的年輕人Sébastien Ailleret獨立開發，用c++語言實現。larbin目的是能夠跟蹤頁面的url進行擴展的抓取，最后為搜索引擎提供...

最近開發的一個通用網絡爬蟲平臺，主要是想滿足自己想從特定網站抓取大量內容的需求