首先得有一個Scrapy項目，我在Desktop上新建一個Scrapy的項目叫test，在Desktop目錄打開命令行，鍵入命令：scrapy startproject test1

目錄結構如下：

打開Pycharm，選擇open

選擇項目，ok

打開如下界面之后，按alt + 1， 打開project 面板

在test1/spiders/，文件夾下，新建一個爬蟲spider.py， 注意代碼中的name="dmoz"。這個名字后面會用到。

在test1目錄和scrapy.cfg同級目錄下面，新建一個begin.py文件（便于理解可以寫成main.py），注意箭頭2所指的名字和第5步中的name='dmoz'名字是一樣的。

from scrapy import cmdlinecmdline.execute("scrapy crawl dmoz".split())

7. 上面把文件搞定了，下面要配置一下pycharm了。點擊Run->Edit Configurations

8. 新建一個運行的python模塊

9. Name：改成spider； script：選擇剛才新建的那個begin.py文件；Working Direciton：改成自己的工作目錄

10. 至此，大功告成了，點擊下圖，右上角的按鈕就能運行了。

調試

可以在其他代碼中設置斷點，就可以debug運行

遇到問題

1. Unknown command: crawl

調試運行，斷點并未命中，控制臺輸出信息如下：

H:/Python/Python36/python.exe "H:/Program Files (x86)/JetBrains/PyCharm Community Edition 4.5.4/helpers/pydev/pydevd.py" --multiproc --client 127.0.0.1 --port 59810 --file H:/Python/Python36/Lib/site-packages/scrapy/cmdline.py crawl quotes -o quotes.jlpydev debugger: process 4740 is connectingConnected to pydev debugger (build 141.3058)Scrapy 1.3.2 - no active projectUnknown command: crawlUse "scrapy" to see available commandsProcess finished with exit code 2

工作目錄設置有誤，造成無法識別 scrapy 命令，按照上文所說，將工作目錄設置為包含 scrapy.cfg，重新運行，問題解決。

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持VEVB武林網。