一個基于golang的web:hocrawler

jopen 9年前發布 | 13K 次閱讀 hocrawler 網絡爬蟲

一個基于golang的web爬蟲工具

參考自 lealife

參考方法:

package main

import (
    "fmt"
    cl "github.com/phillihq/hocrawler"
    "time"
)

func main() {
    start := time.Now()
    crawler := cl.NewCrawler()
    crawler.Fetch("http://xxx.com", "/Users/phil/Desktop/pa")
    fmt.Printf("耗時: %v\n", time.Now().Sub(start))
}

項目主頁:http://www.baiduhome.net/lib/view/home/1438445250191

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!