国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學院 > 開發設計 > 正文

Python開源框架Scrapy安裝及使用

2019-11-14 17:49:17
字體:
來源:轉載
供稿:網友

一、安裝問題
環境: CentOS  + Python 2.7 + Pip

1) 安裝時遇到 ”UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9” 錯誤,安裝libffi-devel 和 Python-devel:

yum install libffi-devel
yum install python-devel

2) 安裝 lxml 時 遇到錯誤,可能是缺少 libxml2-devel 和 libxslt-devel,使用yum安裝:
yum install libxslt-devel libxml2-devel

3) 遇到 bz2 錯誤,則需要:
yum install bzip2-devel

4) 安裝 Twisted 時遇到解壓錯誤,需要先手動將twisted 包當下來,自行解壓進行安裝:
cd ~
wget http://pypi.python.org/packages/source/T/Twisted/Twisted-13.2.0.tar.bz2
tar xjvf Twisted-13.2.0.tar.bz2 
cd Twisted-13.2.0
python2.7 setup.py install     
然后使用 pip 安裝 Scrapy:
pip2.7 install Scrapy

二、中文亂碼問題
先安裝一個chardet:
pip2.7 install chardet

在程序中判斷一下輸入并轉碼輸出:

text = response.bodycontent_type = chardet.detect(text)if content_type['encoding'] != 'UTF-8':        text = text.decode(content_type['encoding'])text = text.encode('utf-8')

 


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 常州市| 高陵县| 深圳市| 沙洋县| 太湖县| 礼泉县| 乳山市| 林周县| 万盛区| 邢台市| 运城市| 宾川县| 乐陵市| 棋牌| 安福县| 自治县| 千阳县| 三门峡市| 富源县| 资兴市| 牡丹江市| 乐清市| 林周县| 固安县| 沈阳市| 藁城市| 乡城县| 贞丰县| 绥化市| 郯城县| 新兴县| 永春县| 峨山| 龙里县| 肥乡县| 长寿区| 巴楚县| 香港 | 安平县| 大竹县| 常熟市|