playfish是一個采用java技術，綜合應用多個開源java組件實現的網頁抓取工具，通過XML配置文件實現高度可定制性與可擴展性的網頁抓取工具

Combine 是一個用Perl語言開發可擴展的Web資源爬蟲程序。

JobHunter旨在自動地從一些大型站點來獲取招聘信息，如chinahr,51job,zhaopin等等。JobHunter 搜索每個工作項目的郵件地址，自動地向這一郵件地址發送申請文本。

BlueLeech是一個開源程序，它從指定的URL開始，搜索所有可用的鏈接，以及鏈接之上的鏈接。它在搜索的同時可以下載遇到的鏈接所指向的所有的或預定義的范圍的內容。

HiSpider是一個快速和高性能的網頁爬蟲。 嚴格說只能是一個spider系統的框架, 沒有細化需求, 目前只是能提取URL, URL排重, 異步DNS解析, 隊列化任務, 支持N機分布...

Methanol是一個可編寫腳本，多用途的Web爬蟲系統。擁有一個可擴展配置系統和速度優化架構設計。

ItSucks是一個Java Web爬蟲開源項目。可靈活定制，支持通過下載模板和正則表達式來定義下載規則。提供一個控制臺和Swing GUI操作界面。

Erlang Bot (Ebot)是一個開源的Web爬蟲，構建在 Erlang， NOSQL數據庫( Apache CouchDB 或 Riak)， RabbitMQ, Webmachine (...

jcrawl是一款小巧性能優良的的web爬蟲,它可以從網頁抓取各種類型的文件,基于用戶定義的符號,比如email,qq.

DotNetWikiBot Framework 是一個全功能的客戶端API和一個控制臺應用，用來構建抓取基于 MediaWiki 網站的爬蟲，采用 .NET 開發。

Bixo 是一個開放源碼的Web挖掘工具包，基于 Hadoop 開發和運行。通過建立一個定制的級聯管總成，您可以快速創建Web挖掘是專門為特定用例優化的應用程序。

WebSPHINX是一個Java類包和Web爬蟲的交互式開發環境。Web爬蟲(也叫作機器人或蜘蛛)是可以自動瀏覽與處理Web頁面的程序。WebSPHINX由兩部分組成：爬蟲工作平臺和WebSPH...

Spidr是一個多功能的Ruby web 爬蟲庫。它可以抓取一個網站，多個域名或某些鏈接。Spidr被設計成快速和容易使用。

WebLech URL Spider是一個功能強大的Web站點下載與鏡像工具。它支持按功能需求來下載web站點并能夠盡可能模仿標準Web瀏覽器的行為。WebLech有一個功能控制臺并采用多線程操作。

JoBo是一個用于下載整個Web站點的簡單工具。它本質是一個 Web Spider。與其它下載工具相比較它的主要優勢是能夠自動填充form(如：自動登錄)和使用cookies來處理session。

Arale能夠下載整個網站或來自網站的某一特定資源。Arale還能夠把動態頁面渲染成靜態頁面。

spidernet是一個以遞歸樹為模型的多線程web爬蟲程序, 支持text/html資源的獲取. 可以設定爬行深度, 最大下載字節數限制, 支持gzip解碼, 支持以gbk(gb2312)和u...

NCrawler是一個簡單并且非常高效的多線程網絡爬蟲。采用C#開發，基于管道的處理器。

Arachnid是一個基于Java的web spider框架.它包含一個簡單的HTML剖析器能夠分析包含HTML內容的輸入流.通過實現Arachnid的子類就能夠開發一個簡單的Web spide...

Scrapy 是一套基于基于Twisted的異步處理框架，純python實現的爬蟲框架，用戶只需要定制開發幾個模塊就可以輕松的實現一個爬蟲，用來抓取網頁內容以及各種圖片。