對于動態數據的爬取，可以選擇selenium和PhantomJS兩種方式，本文選擇的是PhantomJS。
網址：
https://s.taobao.com/search?q=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306
1.首先第一步，對中間件的設置。
進入pipelines.py文件中：
from selenium import webdriverfrom scrapy.http.response.html import HtmlResponsefrom scrapy.http.response import Responseclass SeleniumSpiderMiddleware(object): def __init__(self): self.driver = webdriver.PhantomJS() def process_request(self ,request ,spider): # 當引擎從調度器中取出request進行請求發送下載器之前 # 會先執行當前的爬蟲中間件 ，在中間件里面使用selenium # 請求這個request ，拿到動態網站的數據 然后將請求 # 返回給spider爬蟲對象 if spider.name == 'taobao': # 使用爬蟲文件的url地址 spider.driver.get(request.url) for x in range(1 ,12 ,2): i = float(x) / 11 # scrollTop 從上往下的滑動距離 js = 'document.body.scrollTop=document.body.scrollHeight * %f' % i spider.driver.execute_script(js) response = HtmlResponse(url=request.url, body=spider.driver.page_source, encoding='utf-8', request=request) # 這個地方只能返回response對象，當返回了response對象，那么可以直接跳過下載中間件，將response的值傳遞給引擎，引擎又傳遞給 spider進行解析 return response
在設置中，要將middlewares設置打開。
進入settings.py文件中，將
DOWNLOADER_MIDDLEWARES = { 'taobaoSpider.middlewares.SeleniumSpiderMiddleware': 543,}打開。
2.第二步，爬取數據
回到spider爬蟲文件中。
引入：
from selenium import webdriver
自定義屬性：
def __init__(self): self.driver = webdriver.PhantomJS()
查找數據和分析數據：
def parse(self, response): div_info = response.xpath('//div[@class="info-cont"]') print(div_info) for div in div_info: # print('名稱：', title) price = div.xpath('.//div[@class="sale-row row"]/div/span[2]/strong/text()').extract_first('')3.第三步，傳送數據到item中：
在item.py文件中：
name = scrapy.Field()price = scrapy.Field()
回到spider.py爬蟲文件中：
引入：
from ..items import TaobaospiderItem
傳送數據：
#創建實例化對象。
item = TaobaospiderItem()item['name'] = titleitem['price'] = priceyield item
在設置中，打開：
ITEM_PIPELINES = { 'taobaoSpider.pipelines.TaobaospiderPipeline': 300,}4.第四步，寫入數據庫：
進入管道文件中。
引入
import sqlite3寫入數據庫的代碼如下：class TaobaospiderPipeline(object): def __init__(self): self.connect = sqlite3.connect('taobaoDB') self.cursor = self.connect.cursor() self.cursor.execute('create table if not exists taobaoTable (name text,price text)') def process_item(self, item, spider): self.cursor.execute('insert into taobaoTable (name,price)VALUES ("{}","{}")'.format(item['name'],item['price'])) self.connect.commit() return item def close_spider(self): self.cursor.close() self.connect.close()在設置中打開：
ITEM_PIPELINES = { 'taobaoSpider.pipelines.TaobaospiderPipeline': 300,}因為在上一步，我們已經將管道傳送設置打開，所以這一步可以不用重復操作。
然后運行程序，打開數據庫查看數據。
至此，程序結束。
下附spider爬蟲文件所有代碼：
# -*- coding: utf-8 -*-import scrapyfrom selenium import webdriverfrom ..items import TaobaospiderItemclass TaobaoSpider(scrapy.Spider): name = 'taobao' allowed_domains = ['taobao.com'] start_urls = ['https://s.taobao.com/search?q=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306'] def __init__(self): self.driver = webdriver.PhantomJS() def parse(self, response): div_info = response.xpath('//div[@class="info-cont"]') print(div_info) for div in div_info: print('名稱：', title) price = div.xpath('.//div[@class="sale-row row"]/div/span[2]/strong/text()').extract_first('') item = TaobaospiderItem() item['name'] = title item['price'] = price yield item def close(self,reason): print('結束了',reason) self.driver.quit()關于scrapy的中文文檔：http://scrapy-chs.readthedocs.io/zh_CN/latest/faq.html
總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對VEVB武林網的支持。
新聞熱點
疑難解答
