使用python爬蟲其實(shí)就是方便，它會有各種工具類供你來使用，很方便。Java不可以嗎？也可以，使用httpclient工具、還有一個大神寫的webmagic框架，這些都可以實(shí)現(xiàn)爬蟲，只不過python集成工具庫，使用幾行爬取，而Java需要寫更多的行來實(shí)現(xiàn)，但目的都是一樣。
下面介紹requests庫簡單使用：
#!/usr/local/env python# coding:utf-8import requests#下面開始介紹requests的使用，環(huán)境語言是python3，使用下面的網(wǎng)址作為參考#http://www.sse.com.cn/market/bonddata/data/tb/request_param = {'jsonCallBack': 'jsonpCallback6588', 'isPagination': 'true', 'sqlId': 'COMMON_BOND_XXPL_ZQXX_L', 'BONDTYPE': '地×××府債券', 'pageHelp.pageSize': '25', 'pageHelp.pageNo': '2', 'pageHelp.beginPage': '2', 'pageHelp.cacheSize': '1', 'pageHelp.endPage': '21'}user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'referer = 'http://www.sse.com.cn/market/bonddata/data/ltb/'#設(shè)置headersheaders = {'User-Agent': user_agent, 'Referer': referer}#設(shè)置代理proxy = { "http":"http://113.214.13.1:8000"}# 需要請求的URL地址request_url = 'http://query.sse.com.cn/commonQuery.do?'#設(shè)置請求地址response = requests.get(request_url, headers=headers, proxies=proxy, params=request_param);print(response.status_code)#文本響應(yīng)內(nèi)容print(response.text)#json格式響應(yīng)內(nèi)容print(response.json())#二進(jìn)制響應(yīng)內(nèi)容print(response.content)#原始格式print(response.raw)
新聞熱點(diǎn)
疑難解答
圖片精選
