OpenWebSpider - 開源多線程Web爬蟲

OpenWebSpider是一個開源多線程Web爬蟲和包含許多有趣功能的搜索引擎。

OpenWebSpider的使用方法。
一般情況下我們通過在CMD下輸入
openwebspider -i www.**.com -e -s
就可以對你指定的網站進行采集了。

參數說明：
-I 在數據庫里搜索字符串。        eg: openwebspider -I '美女'
-O 指定數據庫內主機進行索引      eg: openwebspider -O 'www.baidu.com'
-i 指定主機名                    eg: openwebspider -i www.baidu.com
-t 線程 如不設定，默認為20
-s 限制層數 默認為0 不限制
-l 限制索引頁數量 默認為0 不限制
-c 限制每頁索引花費時間。
-b 限制出錯時間
-e 限定主機，（不添加外部主機）
-F 自由索引模式

項目主頁：http://www.baiduhome.net/lib/view/home/1350115826550