国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

零基礎(chǔ)寫python爬蟲之爬蟲框架Scrapy安裝配置

2019-11-25 18:06:46
字體:
供稿:網(wǎng)友

前面十章爬蟲筆記陸陸續(xù)續(xù)記錄了一些簡單的Python爬蟲知識,
用來解決簡單的貼吧下載,績點運算自然不在話下。
不過要想批量下載大量的內(nèi)容,比如知乎的所有的問答,那便顯得游刃不有余了點。
于是乎,爬蟲框架Scrapy就這樣出場了!
Scrapy = Scrach+Python,Scrach這個單詞是抓取的意思,

Scrapy的官網(wǎng)地址:點我點我

那么下面來簡單的演示一下Scrapy的安裝流程。
具體流程參照://m.survivalescaperooms.com/article/48607.htm
友情提醒:一定要按照Python的版本下載,要不然安裝的時候會提醒找不到Python。建議大家安裝32位是因為有些版本的必備軟件64位不好找。

1.安裝Python(建議32位)

建議安裝Python2.7.x,3.x貌似還不支持。
安裝完了記得配置環(huán)境,將python目錄和python目錄下的Scripts目錄添加到系統(tǒng)環(huán)境變量的Path里。
在cmd中輸入python如果出現(xiàn)版本信息說明配置完畢。

2.安裝lxml

lxml是一種使用 Python 編寫的庫,可以迅速、靈活地處理 XML。點擊這里選擇對應(yīng)的Python版本安裝。

3.安裝setuptools

用來安裝egg文件,點擊這里下載python2.7的對應(yīng)版本的setuptools。

4.安裝zope.interface

可以使用第三步下載的setuptools來安裝egg文件,現(xiàn)在也有exe版本,點擊這里下載。

5.安裝Twisted

Twisted是用Python實現(xiàn)的基于事件驅(qū)動的網(wǎng)絡(luò)引擎框架,點擊這里下載。

6.安裝pyOpenSSL

pyOpenSSL是Python的OpenSSL接口,點擊這里下載。

7.安裝win32py

提供win32api,點擊這里下載

8.安裝Scrapy

終于到了激動人心的時候了!安裝了那么多小部件之后終于輪到主角登場。
直接在cmd中輸入easy_install scrapy回車即可。

9.檢查安裝

打開一個cmd窗口,在任意位置執(zhí)行scrapy命令,得到下列頁面,表示環(huán)境配置成功。

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 德清县| 乐昌市| 郧西县| 松滋市| 锦州市| 仁布县| 澄城县| 辽阳县| 钟山县| 广安市| 合阳县| 泸州市| 云阳县| 嘉鱼县| 内黄县| 长兴县| 申扎县| 淮滨县| 桐庐县| 德格县| 屏东县| 四会市| 保定市| 桐乡市| 景德镇市| 鹤峰县| 蓝山县| 九寨沟县| 平昌县| 余庆县| 榕江县| 肃宁县| 吉木萨尔县| 成安县| 洞口县| 承德市| 来安县| 玛纳斯县| 武清区| 肃南| 阳原县|