使用 libtorrent 的python綁定庫實現一個dht網絡爬蟲，抓取dht網絡中的磁力鏈接。

一個開源的JAVA爬蟲，包含了一套爬蟲的內核和一套完整的爬蟲。內核具有很強的擴展性，用戶可以在內核基礎上開發自己想要的爬蟲。源碼中集成了Jsoup，可進行精準的網頁解析。

Cola是一個分布式的爬蟲框架，用戶只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多臺機器上，整個過程對用戶是透明的。

crawl-me是一個基于plugin的輕量級快速網頁圖片下載工具。crawl-me通過簡單的命令行就可以用你想要的方式下載各個網站下的圖片。目前暫時只支持gamersky(游明星空), pix...

本文介紹了Web Scraping的基本概念的相關的Python庫，并詳細講解了如果從騰訊體育抓取歐洲聯賽的詳細數據的過程和代碼。

PHP-Spider是一個可配置的，可擴展的PHP網頁蜘蛛。

Portia是scrapyhub開源的一款可視化的爬蟲規則編寫工具。它提供可視化的Web頁面，你只需要通過點擊標注頁面上你需要抽取的數據，不需要任何編程知識即可完成規則的開發。

phpcrawl是一個爬蟲/蜘蛛功能的基于php開發的框架，所以我們稱它為網站或爬蟲的PHP庫。

所謂網絡爬蟲，就是一個在網上到處或定向抓取數據的程序，當然，這種說法不夠專業，更專業的描述就是，抓取特定網站網頁的HTML數據。不過由于一個網站的網頁很多，而我們又不可能事先知道所有網頁的URL...

Beautiful Soup 是一個可以從HTML或XML文件中提取數據的Python庫.它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省...

基于gevent和多線程模型，支持WebKit引擎的動態爬蟲框架。

CrawlScript 基于JAVA的網絡爬蟲腳本語言，可以直接使用或用JAVA二次開發。

Scrapy是一個用于爬行網站以及在數據挖掘、信息處理和歷史檔案等大量應用范圍內抽取結構化數據的應用程序框架，廣泛用于工業。

Goutte 是一個抓取網站數據的 PHP 庫。它提供了一個優雅的 API，這使得從遠程頁面上選擇特定元素變得簡單。

hadoop提供了自動的集群管理，任務分配，負載平衡。因此在hadoop之上構建爬蟲程序可以省略這部分代碼，這將極大的減少代碼量。

網絡爬蟲第一個要面臨的問題，就是如何抓取網頁，抓取其實很容易，沒你想的那么復雜，一個開源HtmlUnit包，4行代碼就OK啦

webmagic是一個開源的Java垂直爬蟲框架，目標是簡化爬蟲的開發流程，讓開發者專注于邏輯功能的開發。webmagic的核心非常簡單，但是覆蓋爬蟲的整個流程，也是很好的學習爬蟲開發的材料。作...

Scrapy 是一套基于Twisted的異步處理框架，是純python實現的爬蟲框架，用戶只需要定制開發幾個模塊就可以輕松的實現一個爬蟲，用來抓取網頁內容或者各種圖片。下圖顯示了Scrapy的大...

如果你對scrapy第一次聽說，并且還有點興趣學習的話，可以先登錄官網 http://scrapy.org/ 基本瀏覽一下，然后可以按照一面的步驟來完成環境的搭建。

學用python也有3個多月了，用得最多的還是各類爬蟲腳本：寫過抓代理本機驗證的腳本，寫過在discuz論壇中自動登錄自動發貼的腳本，寫過自動收郵件的腳本，寫過簡單的驗證碼識別的腳本，本來想寫g...