windows下搭建爬蟲框架scrapy

如果你對scrapy第一次聽說，并且還有點興趣學習的話，可以先登錄官網 http://scrapy.org/ 基本瀏覽一下，然后可以按照一面的步驟來完成環境的搭建。

第一步：當然是安裝python了，本人安裝的是 2.7.3版本；可以到python的官網下載然后雙擊運行，一路“下一步”即可完成安裝。安裝好后，將python的安裝目錄添加到系統變量中，這樣才 能夠在控制臺中輸入python進入，如下圖所示則說明安裝python成功了

第二步：按照官網的提示，我們先安裝pywin32，在http://sourceforge.net/projects/pywin32/files/這里點擊進去后選擇對應的版本（注意要與安裝的python版本對應），下載后也是雙擊運行，直接下一步一路完成。

第三步：安裝twisted，在其官網的下載頁面中http://twistedmatrix.com/trac/wiki/Downloads可以看到其還依賴幾個包

    1. 安裝zope.interface， 從這里https://pypi.python.org/pypi/zope.interface#download下載

我選擇了4.0.5版本，點擊進去后，點擊download按鈕即可，下載完后也是雙擊運行，一路下一步即可完成。

打開cmd，進入python，按照下圖顯示輸出的話表示正確安裝了

    2. 安裝pyopenssl， 從這里https://pypi.python.org/pypi/pyOpenSSL下載，注意要選擇對應python的版本。

我選擇了倒數第二個，安裝成功后通過下面的方式驗證：

    3. 安裝twisted，在下載頁面http://twistedmatrix.com/trac/wiki/Downloads中我們可以看到

    選擇對應python的版本下載安裝。

第三步：安裝lxml，在這里https://pypi.python.org/pypi/lxml/下載，本人選擇了3.2.3版本

最后一步：安裝scrapy

在安裝前，請先將easytool安裝好

在這里http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe下載，安裝好后，需要將python安裝目錄下的Scripts目錄路徑添加到系統變量中，因為下面就要用到。

下載scrapy，在這里https://pypi.python.org/pypi/Scrapy下載，下載完后，解壓出來，運行cmd，cd到該解壓目錄下，在cmd中輸入

easy_install Scrapy

到此，整個環境搭建成功！