Lucene很強大，這點在前面的章節中，已經作了詳細介紹。但是，無論多么強大的搜索引擎工具，在其后臺，都需要一樣東西來支援它，那就是網絡爬蟲Spider。網絡爬蟲，又被稱為蜘蛛Spider，或是網絡機器人、BOT等，這些都無關緊要，最重要的是要認識到，由于爬蟲的存在，才使得搜索引擎有了豐富的資源。Heritrix是一個純由Java開發的、開源的Web網絡爬蟲，用戶可以使用它從網絡上抓取想要的資源。它來自于www.archive.org。Heritrix最出色之處在于它的可擴展性，開發者可以擴展它的各個組件，來實現自己的抓取邏輯。本章就來詳細介紹一下Heritrix和它的各個組件。