對于電商類型和內容服務類型的網站，經常會出現因為配置錯誤造成頁面鏈接無法訪問的情況（404）。顯然，要確保網站中的所有鏈接都具有可訪問性，通過人工進行檢測肯定是不現實的，常用的做法是使用爬蟲技術...