一、爬蟲框架Scarpy簡介
Scrapy 是一個快速的高層次的屏幕抓取和網頁爬蟲框架，爬取網站，從網站頁面得到結構化的數據，它有著廣泛的用途，從數據挖掘到監測和自動測試，Scrapy完全用Python實現，完全開源，代碼托管在Github上，可運行在Linux，Windows，Mac和BSD平臺上，基于Twisted的異步網絡庫來處理網絡通訊，用戶只需要定制開發幾個模塊就可以輕松的實現一個爬蟲，用來抓取網頁內容以及各種圖片。

二、Scrapy安裝指南

我們的安裝步驟假設你已經安裝一下內容：<1>Python2.7<2>lxml<3>OpenSSL，我們使用Python的包管理工具pip或者easy_install來安裝Scrapy。
pip的安裝方式：

三、Ubuntu平臺上環境配置

1、python的包管理工具
當前的包管理工具鏈是 easy_install/pip + distribute/setuptools
distutils : Python 自帶的基本安裝工具, 適用于非常簡單的應用場景;
setuptools : 針對 distutils 做了大量擴展, 尤其是加入了包依賴機制. 在部分 Python 子社區已然是事實上的標準;
distribute : 由于 setuptools 開發進度緩慢, 不支持 Python 3, 代碼混亂, 一幫程序員另起爐灶, 重構代碼, 增加功能, 希望能夠取代 setuptools 并被接納為官方標準庫, 他們非常努力, 在很短的時間便讓社區接受了 distribute;，setuptools / distribute 都只是擴展了 distutils;
easy_install : setuptools 和 distribute 自帶的安裝腳本, 也就是一旦 setuptools 或 distribute 安裝完畢, easy_install 也便可用. 最大的特點是自動查找 Python 官方維護的包源 PyPI , 安裝第三方 Python 包非常方便; 使用:
pip : pip 的目標非常明確