国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

pycharm下打開、執行并調試scrapy爬蟲程序的方法

2020-02-16 10:53:38
字體:
來源:轉載
供稿:網友

首先得有一個Scrapy項目,我在Desktop上新建一個Scrapy的項目叫test,在Desktop目錄打開命令行,鍵入命令:scrapy startproject test1


目錄結構如下:




打開Pycharm,選擇open


選擇項目,ok

打開如下界面之后,按alt + 1, 打開project 面板


在test1/spiders/,文件夾下,新建一個爬蟲spider.py, 注意代碼中的name="dmoz"。這個名字后面會用到。

在test1目錄和scrapy.cfg同級目錄下面,新建一個begin.py文件(便于理解可以寫成main.py),注意箭頭2所指的名字和第5步中的name='dmoz'名字是一樣的。

from scrapy import cmdlinecmdline.execute("scrapy crawl dmoz".split())

7. 上面把文件搞定了,下面要配置一下pycharm了。點擊Run->Edit Configurations

8. 新建一個運行的python模塊

9. Name:改成spider; script:選擇剛才新建的那個begin.py文件;Working Direciton:改成自己的工作目錄


10. 至此,大功告成了,點擊下圖,右上角的按鈕就能運行了。

調試

可以在其他代碼中設置斷點,就可以debug運行



遇到問題

1. Unknown command: crawl

調試運行,斷點并未命中,控制臺輸出信息如下:

H:/Python/Python36/python.exe "H:/Program Files (x86)/JetBrains/PyCharm Community Edition 4.5.4/helpers/pydev/pydevd.py" --multiproc --client 127.0.0.1 --port 59810 --file H:/Python/Python36/Lib/site-packages/scrapy/cmdline.py crawl quotes -o quotes.jlpydev debugger: process 4740 is connectingConnected to pydev debugger (build 141.3058)Scrapy 1.3.2 - no active projectUnknown command: crawlUse "scrapy" to see available commandsProcess finished with exit code 2            
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 祁阳县| 久治县| 长白| 阳江市| 渝中区| 枣阳市| 巴彦淖尔市| 广平县| 延津县| 南木林县| 肃南| 临漳县| 凌海市| 恭城| 新源县| 云龙县| 兖州市| 青冈县| 丰城市| 瓦房店市| 繁峙县| 台中市| 珠海市| 水城县| 西贡区| 行唐县| 滁州市| 会昌县| 蓬溪县| 关岭| 梁河县| 类乌齐县| 台前县| 巴马| 鹤峰县| 长丰县| 项城市| 龙岩市| 永顺县| 伽师县| 唐海县|