用JAVA編寫的web 搜索和爬蟲，包括全文和分類垂直搜索，以及分詞系統。

NCrawler 是一個Web Crawler 工具，它可以讓開發人員很輕松的發展出具有Web Crawler 能力的應用程式，并且具有可以延展的能力。

spidernet是一個以遞歸樹為模型的多線程web爬蟲程序, 支持text/html資源的獲取.

你想要的任何信息，基本上在互聯網上存在了，問題是如何把它們整理成你所需要的，比如在某個行業網站上抓取所有相關公司的的名字，聯系電話，Email等，然后存到Excel里面做分析。網頁信息抓取變得原...

larbin是一種開源的網絡爬蟲/網絡蜘蛛，由法國的年輕人Sébastien Ailleret獨立開發，用c++語言實現。larbin目的是能夠跟蹤頁面的url進行擴展的抓取，最后為搜索引擎提供...

搜索引擎爬蟲，抓取url的Java源碼

最近開發的一個通用網絡爬蟲平臺，主要是想滿足自己想從特定網站抓取大量內容的需求

Crawljax是現代（Ajax）的Web應用程序自動抓取和測試Java工具。

這是一個能夠自動抓取Ajax應用程序的工具。它可以采用菊花鏈將其它代理工具如ZAP 或Burpe集成進來，并在Web應用程序的各個方面使用這些工具提供的功能，以彌補傳統抓取工具的不足。

Crowbar: 基于Mozilla瀏覽器的 ajax 爬蟲，還可作為遠程瀏覽器使用，比較有意思。