github上有太多太多的牛人， 這個東西可以幫助你通過給定的一個github的用戶， 然后通過他關注的人, 找出他關注的人里的被關注數最高的幾個. 然后不斷的循環。

Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。

Example how to build scalable cluster of web crawlers with centralized jobs queue on python3.

每部電影都有自己的海報，即便是在如今這互聯網時代，電影海報仍是一個強大的廣告形式。每部電影都會根據自身的主題風格設計海報，精致的電影海報可以吸引人們的注意力。那么問題來了，不同風格的電影海報對顏...

p2pspider - DHT Crawler + BT Client = P2P Spider

從你的應用中收集數據有時候可能有點困難和艱辛。可能是缺少一個必須的API，或者是有太多的數據需要處理。這時候你就需要借助于web抓取。 不用說了，這可能是個法律雷區，所以要確保你沒有逾越法律的...

有前人分析了知乎日報、鳳凰新聞等 API，根據相應的 URL 可以獲取新聞的 JSON 數據。為了鍛煉寫代碼能力，筆者打算爬蟲新聞頁面，自己獲取數據構建 API。

PySpider - Python 爬蟲學習

jianhelper - :beetle: 一個爬蟲，可以用來爬取簡書的文章，并生成EPUB格式。

gecco-spring - gecco爬蟲和spring結合使用

zerg - 基于docker的分布式爬蟲服務

這幾天在爬一個網站，網站做了很多反爬蟲工作，爬起來有些艱難，花了一些時間才繞過反爬蟲。在這里把我寫爬蟲以來遇到的各種反爬蟲策略和應對的方法總結一下。

PHP的curl擴展是PHP支持的允許你與各種服務器使用各種類型的協議進行連接和通信的庫。 本程序是抓取知乎的用戶數據，要能訪問用戶個人頁面，需要用戶登錄后的才能訪問。當我們在瀏覽器的頁面...

Python爬蟲：抓取手機APP數據：1、抓取APP數據包

python爬蟲模擬登錄之驗證碼

模擬提交就是說我們不自己登陸到客戶端，僅僅靠發送請求就模擬了客戶端的操作，在現實使用的時候經常用來接收一些需要登錄才能獲取到的數據，來模擬表單的提交，所以很多時候也被稱作虛擬登錄，這次的例子是我...

寒假開始學習一些簡答的爬蟲并且做一些有意義的事情。 首先，百度一下爬蟲的意思： 網絡爬蟲：網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定...

說道網頁信息抓取，相信Jsoup基本是首選的工具，完全的類JQuery操作，讓人感覺很舒服。但是，今天我們就要說一說Jsoup的不足。

SeimiCrawler的目標是成為Java世界最好用最實用的爬蟲框架。

我這里是使用水木社區做Demo，其中下面的id和passwd分別是提交form表單中用戶名和密碼的input的name