使用scrapy,redis, mongodb,graphite實現的一個分布式網絡爬蟲,底層存儲mongodb集群,分布式使用redis實現, 爬蟲狀態顯示使用graphite實現。