国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python打印scrapy蜘蛛抓取樹結構的方法

2019-11-25 17:48:45
字體:
來源:轉載
供稿:網友

本文實例講述了Python打印scrapy蜘蛛抓取樹結構的方法。分享給大家供大家參考。具體如下:

通過下面這段代碼可以一目了然的知道scrapy的抓取頁面結構,調用也非常簡單

#!/usr/bin/env pythonimport fileinput, refrom collections import defaultdictdef print_urls(allurls, referer, indent=0):  urls = allurls[referer]  for url in urls:    print ' '*indent + referer    if url in allurls:      print_urls(allurls, url, indent+2)def main():  log_re = re.compile(r'<GET (.*?)> /(referer: (.*?)/)')  allurls = defaultdict(list)  for l in fileinput.input():    m = log_re.search(l)    if m:      url, ref = m.groups()      allurls[ref] += [url]  print_urls(allurls, 'None')main()

希望本文所述對大家的Python程序設計有所幫助。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 枣强县| 陈巴尔虎旗| 武城县| 普定县| 灵丘县| 白山市| 海丰县| 洛阳市| 万年县| 宁化县| 海林市| 杭锦后旗| 鄂托克前旗| 和顺县| 大荔县| 英山县| 当涂县| 红河县| 海伦市| 县级市| 青阳县| 瑞丽市| 井陉县| 靖宇县| 陵水| 张家口市| 长丰县| 英德市| 沂源县| 金川县| 华亭县| 年辖:市辖区| 大港区| 龙里县| 莱阳市| 沂南县| 阿坝县| 宜兴市| 鄂尔多斯市| 英山县| 尚义县|