題記：早已聽聞python爬蟲框架的大名。近些天學習了下其中的Scrapy爬蟲框架，將自己理解的跟大家分享。有表述不當之處，望大神們斧正。

一、初窺Scrapy

Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。

其最初是為了頁面抓取(更確切來說,網絡抓取)所設計的， 也可以應用在獲取API所返回的數據(例如Amazon Associates Web Services) 或者通用的網絡爬蟲。

本文檔將通過介紹Scrapy背后的概念使您對其工作原理有所了解， 并確定Scrapy是否是您所需要的。

當您準備好開始您的項目后，您可以參考入門教程。

二、Scrapy安裝介紹

Scrapy框架運行平臺及相關輔助工具

Python2.7（Python最新版3.5，這里選擇了2.7版本） Python Package:pipandsetuptools. 現在pip依賴setuptools，如果未安裝，則會自動安裝setuptools。 lxml. 大多數Linux發行版自帶了lxml。如果缺失，請查看http://lxml.de/installation.html OpenSSL. 除了Windows(請查看平臺安裝指南)之外的系統都已經提供。

您可以使用pip來安裝Scrapy(推薦使用pip來安裝Python package).

pip install Scrapy

Windows下安裝流程：

1、安裝Python 2.7之后，您需要修改PATH環境變量，將Python的可執行程序及額外的腳本添加到系統路徑中。將以下路徑添加到PATH中:

C:/Python27/;C:/Python27/Scripts/;

除此之外，還可以用cmd命令來設置Path：

c:/python27/python.exe c:/python27/tools/scripts/win_add2path.py

安裝配置完成之后，可以執行命令python --version查看安裝的python版本。（如圖所示）

2、從http://sourceforge.net/projects/pywin32/安裝pywin32

請確認下載符合您系統的版本(win32或者amd64)

從https://pip.pypa.io/en/latest/installing.html安裝pip

3、打開命令行窗口，確認pip被正確安裝:

pip --version

4、到目前為止Python 2.7 及pip已經可以正確運行了。接下來安裝Scrapy:

pip install Scrapy

至此windows下Scrapy安裝已經結束。

三、Scrapy入門教程

1、在cmd中創建Scrapy項目工程。

scrapy startproject tutorial

H:/python/scrapyDemo>scrapy startproject tutorialNew Scrapy project 'tutorial', using template directory 'f://python27//lib//site-packages//scrapy//templates//project', created in:  H:/python/scrapyDemo/tutorialYou can start your first spider with:  cd tutorial  scrapy genspider example example.com

2、文件目錄結構如下：