国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python網絡爬蟲采集聯想詞示例

2019-11-25 18:31:42
字體:
來源:轉載
供稿:網友

python爬蟲_采集聯想詞代碼

復制代碼 代碼如下:

#coding:utf-8
import urllib2
import urllib
import re
import time
from random import choice
#特別提示,下面這個list中的代理ip可能失效,請換上有效的代理ip
iplist  = ['27.24.158.153:81','46.209.70.74:8080','60.29.255.88:8888']

list1 = ["集團","科技"]
for item in list1:
    ip= choice(iplist)
    gjc = urllib.quote(item)
    url = "http://sug.so.360.cn/suggest/word?callback=suggest_so&encodein=utf-8&encodeout=utf-8&word="+gjc
    headers = {
                "GET":url,
                "Host":"sug.so.360.cn",
                "Referer":"http://www.so.com/",
                "User-Agent":"sMozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
                }

    proxy_support = urllib2.ProxyHandler({'http':'http://'+ip})

    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener( opener )
    req = urllib2.Request(url)

    for key in headers:
        req.add_header(key,headers[key])

    html = urllib2.urlopen(req).read()

    ss = re.findall("/"(.*?)/"",html)
    for item in ss:
        print item
    time.sleep(2)

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 沛县| 台山市| 兰考县| 兴和县| 定安县| 永顺县| 临沧市| 商城县| 宣汉县| 沙洋县| 长春市| 通化县| 哈巴河县| 马龙县| 长乐市| 清涧县| 福建省| 肇州县| 淮阳县| 云和县| 新野县| 资中县| 商丘市| 顺义区| 宝兴县| 寿宁县| 武安市| 巴林右旗| 云安县| 平陆县| 乾安县| 黑龙江省| 洞口县| 三门县| 海淀区| 嵊州市| 新巴尔虎右旗| 连江县| 西峡县| 枣强县| 襄城县|