Perl開發的爬蟲程序 Combine

jopen 12年前發布 | 24K 次閱讀 爬蟲 網絡爬蟲

Combine 是一個用Perl語言開發可擴展的Web資源爬蟲程序。

  •  SearchEngine-in-a-Box 系統的一部分
  • 高度可配置
  • 聚焦爬行模式的綜合自動化主題分類
  • 可以使用任何主題聚焦爬行模式分類器
  • 抓取URL的正則表達式，既包括和排除
  • UTF-8字符集檢測/正常化
  • 語法探測
  • HTML 清理
  • 元數據抽取
  • 支持多種文檔類型 (text, HTML, PDF, PostScript, MsWord, PowerPoint, Excel, RTF, TeX,圖片)
  • 遵守robot協議
  • 采用SQL存儲數據和管理

項目主頁：http://www.baiduhome.net/lib/view/home/1350030568556

 本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！