自從看了師傅爬了頂點全站之后，我也手癢癢的，也想爬一個比較牛逼的小說網看看，于是選了宜搜這個網站，好了，馬上開干，這次用的是mogodb數據庫，感覺mysql太麻煩了下圖是我選擇宜搜里面遍歷的網站

本篇文章是使用python抓取數據的第一篇，使用request+BeautifulSoup的方法對頁面進行抓取和數據提取。通過使用requests庫對鏈家網二手房列表頁進行抓取，通過Beauti...

基于urlib2及beautifulSoup實現的微博爬蟲系統。 數據庫采用mongodb，原始關系以txt文件存儲，原始內容以csv形式存儲，后期直接插入mongodb數據庫