基于Scrapy的Pixiv熱榜爬蟲：pixiv_crawl

f2xc 9年前發布 | 21K 次閱讀 jopen 網絡爬蟲

基于Scrapy 的 PIXIV爬蟲，功能簡單（簡陋），實現了簡單的頁面信息抽取，JSON API信息抽取，IMAGE存儲等功能。基于Scrapy的配置文件進行靈活配置（包含某些福利選項），并通過Cookie Middleware實現模擬登錄等功能。

用戶配置信息：

  • IMAGES_STORE 配置圖片存儲的地址
  • PIXIV_USER_NAME 配置你的PIXIV用戶名
  • PIXIV_USER_PASS 配置你的PIXIV密碼
  • START_DATE 抓取的時間
  • SELECT_MODE_IDX 熱榜模式選擇

項目主頁：http://www.baiduhome.net/lib/view/home/1443670623283

 本文由用戶 f2xc 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！