5.2.1.注解@Crawler ?

目前@Crawler注解有下面幾個屬性:

• name 自定義一個爬蟲規則的名字，一個SeimiCrawler可掃描范圍內的工程中不能有同名的。默認使用類名。
• proxy 告訴Seimi這個爬蟲是否使用代理，以及使用什么樣的代理。目前支持三種格式http|https|socket://host:port，這一版還沒支持帶用戶名和密碼的代理。
• useCookie 是否啟用cookies，啟用后即可像瀏覽器一樣保持你的請求狀態，同樣的也會被追蹤。
• queue 指定當前這個爬蟲要使用的數據隊列，默認的是本地隊列實現DefaultLocalQueue.class,也可以配置使用默認的redis版實現或是自行基于其他隊列系統的實現，這個后面會進行更為詳細的介紹。
• delay 設置請求抓取的時間間隔單位為秒,默認為0即沒有間隔。

5.2.2.實現startUrls() ?

這是爬蟲的入口，返回值為URL的數組。默認startURL會被以GET請求處理，如果某些特殊情況下你需要讓Seimi以POST方法處理你的startURL，你只需在這條URL的后面加上##post即可，例如http://passport.cnblogs.com/user/signin?ReturnUrl=http%3a%2f%2fi.cnblogs.com%2f##post，這個指定不區分大小寫。這個規則僅適用startURL的處理。

5.2.3.實現start(Response response) ?

這個方法是針對startURL的回調函數，即告訴Seimi如何處理請求startURL返回的數據。

5.2.4.Response數據提取 ?

• 文本類結果 Seimi默認推薦使用XPath來提取HTML數據，雖然初期學習了解XPath有一點點的學習成本，但是與在你了解他之后給你帶來的開發效率相比較來說實在是太微不足道了。JXDocument doc = response.document();即可拿到JXDocument（JsoupXpath的文檔對象），然后就可以通過doc.sel("xpath")提取任何你想要的數據了，提取任何數據應該都是一條XPath語句就能搞定了。對Seimi使用的XPath語法解析器以及想對XPath進一步了解的同學請移步JsoupXpath。當然，實在對XPath提不起感覺的話，那么response里有原聲的請求結果數據，您可自行選擇其他數據解析器進行處理。
• 文件類結果 如果是文件類的返回結果，可以使用reponse.saveTo(File targetFile)進行存儲或做其他操作。

5.2.5.回調函數 ?

使用默認的一個回調函數顯然是不能滿足你的要求的，如果你還想把startURL頁面中的某些URL提取出來再進行請求獲取數據并進行處理的話，你就需要自定義回調函數了。注意點如下：

• 在回調函數里的產生的Request可以指定其他回調函數也可以指定自己為回調函數。
• 作為回調函數需滿足這個格式：public void callbackName(Response response),即方法是公有的，有且只能有一個參數Response,沒有返回值。
• Request設置一個回調函數只需提供這個回調函數的String類型的名稱即可，如:快速開始中那個getTitle。
• 繼承了BaseSeimiCrawler的Crawler可以在回調函數內直接調用父類的push(Request request)將新的抓取請求發送掉請求隊列。
• 可以通過new Request()或是Request.build()創建Request。

5.2.6.自定義UserAgent（可選） ?

SeimiCrawler的默認UA為SeimiCrawler/JsoupXpath，如果想自定義UserAgent可以覆蓋BaseSeimiCrawler的public String getUserAgent(),每次處理請求時SeimiCrawler都會獲取一次UserAgent，所以如果你想偽裝UserAgent的話可以自行實現一個UA庫，每次隨機返回一個。

5.2.7.啟用cookies（可選） ?

在介紹@Crawler注解時已經對其介紹過了，這里再次強調主要是方便快速瀏覽這些基本功能，是否啟用cookies是通過@Crawler注解中的useCookie屬性來進行配置。

5.2.8.啟用proxy（可選） ?

通過@Crawler注解中的proxy屬性來進行配置，具體請參考@Crawler的介紹，如果希望能動態的指定proxy，請移步下文“設置動態代理”。

5.2.9.設置delay（可選）* ?

通過@Crawler注解中的delay屬性來進行配置，設置請求抓取的時間間隔單位為秒,默認為0即沒有間隔。在很多情況下內容方都會把請求頻率的限制作為反爬蟲的一種手段，所以需要的情況可以自行調整添加這個參數來實現更好的抓取效果。

5.2.10.設置請求URL白名單匹配規則 ?

通過override BaseSeimiCrawler的public String[] allowRules()來設置URL請求白名單規則，規則為正則表達式，匹配到任意一條即放行。

5.2.11.設置請求URL黑名單匹配規則 ?

通過override BaseSeimiCrawler的public String[] denyRules()來設置URL請求黑名單規則，規則為正則表達式，匹配到任意一條即阻止請求。

5.2.12.設置動態代理 ?

通過override BaseSeimiCrawler的public String proxy()來告訴Seimi某一次請求使用哪個代理地址，這里可以自行從已有代理庫用順序或是隨機返回一個代理地址。且只要這個代理地址非空，那么在@Crawler中proxy屬性設置則失效。

5.2.13.是否開啟系統去重 ?

通過@Crawler注解中的useUnrepeated屬性來控制是否開啟系統去重，默認開啟

5.2.14.關于自動跳轉 ?

目前SeimiCrawler支持301、302以及meta refresh跳轉，對于這類跳轉URL，可以通過Response對象的getRealUrl()獲取內容對應重定向或是跳轉后的真實連接

5.2.15.啟動爬蟲系統 ?

有了爬蟲規則，就可以啟動爬蟲系統進行抓取了。要啟動爬蟲系統，您需要一個main函數，最好獨立的一個啟動類，就像demo工程中的那樣。在main函數中，初始化Seimi這個對象，例如：

public class Boot {
    public static void main(String[] args){
        Seimi s = new Seimi();
        s.start("basic");
    }
}

Seimi包含了三個啟動函數，分別是：

• public void start(String... crawlerNames)指定一個或多個Crawler開始執行抓取。
• public void startAll()啟動全部被加載到的Crawler。
• public void startWithHttpd(int port,String... crawlerNames)指定一個Crawler開始執行抓取，并為之啟動一個指定端口的http服務，可通過/push/crawlerName推送一個抓取請求給對應的Crawler，接收參數為req，支持POST和GET。
• public void startWorkers()只初始化所有被加載到的Crawler，并監聽抓取請求。這個啟動函數主要用來在分布式部署的情況下啟動一個或多個單純的worker系統，這在后面關于如何進行以及支持分布式部署時會有更為細致的介紹

在工程下執行下面的命令打包并輸出整個工程，

Windows下為了避免在windows控制臺下日志輸出亂碼，請自行修改logback配置文件中控制臺輸出格式為GBK，默認UTF-8。

mvn clean package&&mvn -U compile dependency:copy-dependencies -DoutputDirectory=./target/seimi/&&cp ./target/*.jar ./target/seimi/

這時在工程的target目錄下會有一個叫做seimi的目錄，這個目錄就是我們最終編譯好的可部署的工程，然后執行下面的命令進行啟動，

Windows下：

java -cp .;./target/seimi/* cn.wanghaomiao.main.Boot

Linux下：

java -cp .:./target/seimi/* cn.wanghaomiao.main.Boot

以上可以自行寫入腳本，目錄也可以看自行情況進行調整，上面僅是針對demo工程做的一個樣例。

5.3.工程化打包部署 ?

上面介紹的可以方便的用來開發或是調試，當然也可以成為生產環境下一種啟動方式。但是，為了便于工程化部署與分發，SeimiCrawler提供了專門的打包插件用來對SeimiCrawler工程進行打包，打好的包可以直接分發部署運行了。你只需做如下幾件事即可：

pom中添加添加plugin

<plugin>
    <groupId>cn.wanghaomiao</groupId>
    <artifactId>maven-seimicrawler-plugin</artifactId>
    <version>1.0.0</version>
    <executions>
        <execution>
            <phase>package</phase>
            <goals>
                <goal>build</goal>
            </goals>
        </execution>
    </executions>
    <!--<configuration>-->
        <!-- 默認target目錄 -->
        <!--<outputDirectory>/some/path</outputDirectory>-->
    <!--</configuration>-->
</plugin>

執行mvn clean package即可，打好包目錄結構如下：

.
├── bin             # 相應的腳本中也有具體啟動參數說明介紹，在此不再敖述
│   ├── run.bat    # windows下啟動腳本
│   └── run.sh     # Linux下啟動腳本
└── seimi
    ├── classes     # Crawler工程業務類及相關配置文件目錄
    └── lib         # 工程依賴包目錄

接下來就可以直接用來分發與部署了。

5.4.自動解析Bean ?

如果你希望定義一個Bean，SeimiCrawler可以根據你定義的規則自動將數據提取出來并填充到相應的字段上，這時你就需要這個功能了。

public class BlogContent {
    @Xpath("http://h1[@class='postTitle']/a/text()|//a[@id='cb_post_title_url']/text()")
    private String title;
    //也可以這么寫 @Xpath("http://div[@id='cnblogs_post_body']//text()")
    @Xpath("http://div[@id='cnblogs_post_body']/allText()")
    private String content;
    public String getTitle() {
        return title;
    }
    public void setTitle(String title) {
        this.title = title;
    }
    public String getContent() {
        return content;
    }
    public void setContent(String content) {
        this.content = content;
    }
}

</div>

public interface SeimiInterceptor {
    /**
     * 獲取目標方法應標記的注解
     * @return Annotation
     */
    public Class<? extends Annotation> getTargetAnnotationClass();
    /**
     * 當需要控制多個攔截器執行的先后順序時可以重寫這個方法
     * @return 權重,權重越大越在外層，優先攔截
     */
    public int getWeight();
    /**
     * 可以在目標方法執行之前定義一些處理邏輯
     */
    public void before(Method method,Response response);
    /**
     * 可以在目標方法執行之后定義一些處理邏輯
     */
    public void after(Method method,Response response);
}

@Value("${redis.host:127.0.0.1}")
private String host;
@Value("${redis.port:6379}")
private int port;
@Value("${redis.password:}")
private String password;

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans.xsd">
    <!--配置Seimi默認的基于redis數據隊列的網絡相關配置-->
    <bean id="propertyConfigurer" class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
        <property name="locations">
            <list>
                <value>classpath:**/*.properties</value>
            </list>
        </property>
    </bean>
</beans>

redis.host=192.168.1.100
redis.port=6379
redis.password=

/**
 * 定義系統隊列的基本接口，可自由選擇實現，只要符合規范就行。
 * @author 汪浩淼 et.tw@163.com
 * @since 2015/6/2.
 */
public interface SeimiQueue {
    /**
     * 阻塞式出隊一個請求
     * @return
     */
    Request bPop(String crawlerName);
    /**
     * 入隊一個請求
     * @param req
     * @return
     */
    boolean push(Request req);
    /**
     * 任務隊列剩余長度
     * @return
     */
    int len(String crawlerName);
}

<dependency>
    <groupId>net.paoding</groupId>
    <artifactId>paoding-rose-jade</artifactId>
    <version>2.0.u01</version>
</dependency>
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-dbcp2</artifactId>
    <version>2.1.1</version>
</dependency>
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-pool2</artifactId>
    <version>2.4.2</version>
</dependency>
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.37</version>
</dependency>

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">
       <bean id="dataSource" class="org.apache.commons.dbcp2.BasicDataSource">
           <property name="driverClassName" value="${database.driverClassName}" />
           <property name="url" value="${database.url}" />
           <property name="username" value="${database.username}" />
           <property name="password" value="${database.password}" />
       </bean>
       <!-- 啟用Jade -->
       <bean class="net.paoding.rose.jade.context.spring.JadeBeanFactoryPostProcessor" />
</beans>

database.driverClassName=com.mysql.jdbc.Driver
database.url=jdbc:mysql://127.0.0.1:3306/xiaohuo?useUnicode=true&characterEncoding=UTF8&autoReconnect=true&autoReconnectForPools=true&zeroDateTimeBehavior=convertToNull
database.username=xiaohuo
database.password=xiaohuo

CREATE TABLE `blog` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `title` varchar(300) DEFAULT NULL,
  `content` text,
  `update_time` timestamp NOT NULL DEFAULT '0000-00-00 00:00:00' ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

@DAO
public interface StoreToDbDAO {
    @ReturnGeneratedKeys
    @SQL("insert into blog (title,content,update_time) values (:1.title,:1.content,now())")
    public int save(BlogContent blog);
}

@Crawler(name = "storedb")
public class StoreInDB extends BaseSeimiCrawler {
    @Autowired
    private StoreToDbDAO storeToDbDAO;
    @Override
    public String[] startUrls() {
        return new String[]{"http://www.cnblogs.com/"};
    }
    @Override
    public void start(Response response) {
        JXDocument doc = response.document();
        try {
            List<Object> urls = doc.sel("http://a[@class='titlelnk']/@href");
            logger.info("{}", urls.size());
            for (Object s:urls){
                push(Request.build(s.toString(),"renderBean"));
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    public void renderBean(Response response){
        try {
            BlogContent blog = response.render(BlogContent.class);
            logger.info("bean resolve res={},url={}",blog,response.getUrl());
            //使用神器paoding-jade存儲到DB
            int blogId = storeToDbDAO.save(blog);
            logger.info("store sus,blogId = {}",blogId);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

{
  "callBack": "start",
  "maxReqCount": 3,
  "meta": {
    "listPageSomeKey": "xpxp"
  },
  "params": {
    "paramName": "xxxxx"
  },
  "stop": false,
  "url": "http://www.github.com"
}