国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 學(xué)院 > 開發(fā)設(shè)計(jì) > 正文

基于webmagic爬取并下載百度圖片

2019-11-11 07:34:21
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

最近想下載一些圖片,在一次一次另存為之后實(shí)在受不了了,于是寫了一個(gè)小程序直接把圖片下載下來(lái)

現(xiàn)把代碼貼出,以供參考吧

import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import us.codecraft.webmagic.Page;import us.codecraft.webmagic.Spider;import java.io.DataInputStream;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.net.MalformedURLException;import java.net.URL;import java.util.ArrayList;import java.util.List;/** * 下載百度圖片 * * @author bruce_q * @create 2017-02-03 11:12 **/public class DownloadPicture extends BasePRocessor{    static List<String> urls;    static List<String> names;    public void setUrls(List<String> urls) {        this.urls = urls;    }    public void setNames(List<String> names) {        this.names = names;    }    /**     * 下載圖片     * author:bruce_q     * 2017-2-5 20:47     *     * @param urlList     * @param nameList     */    private void downloadPicture(ArrayList<String> urlList,ArrayList<String> nameList,String key) {        URL url = null;        for (int i=0;i<urlList.size();i++) {            try {                url = new URL(urlList.get(i));                DataInputStream dataInputStream = new DataInputStream(url.openStream());                String imageName = i + ".jpg";                File file=new File("d://pic//"+key);    //設(shè)置下載路徑                if(!file.isDirectory()){                    file.mkdirs();                }                FileOutputStream fileOutputStream = new FileOutputStream(new File("d://pic//"+ key +"//"+ imageName.trim()));                byte[] buffer = new byte[1024];                int length;                while ((length = dataInputStream.read(buffer)) > 0) {                    fileOutputStream.write(buffer, 0, length);                }                dataInputStream.close();                fileOutputStream.close();            } catch (MalformedURLException e) {                e.printStackTrace();            } catch (IOException e) {                e.printStackTrace();            }        }    }    @Override    public void process(Page page) {        List<String> url_list = new ArrayList<>();        List<String> name_list = new ArrayList<>();        JSONObject jsonObject = (JSONObject) JSONObject.parse(page.getRawText());        JSONArray data = (JSONArray) jsonObject.get("data");        for(int i=0;i<data.size();i++){            String url = (String) data.getJSONObject(i).get("thumbURL");            String name = (String) data.getJSONObject(i).get("fromPageTitleEnc");            if(url!=null){                url_list.add(url);                name_list.add(name);            }        }        setUrls(url_list);        setNames(name_list);    }    public static void main(String[] args) {        String key = "乘風(fēng)破浪";    //百度圖片 關(guān)鍵詞        DownloadPicture downloadPicture = new DownloadPicture();        ArrayList<String> nameList = new ArrayList<>();        ArrayList<String> urlList = new ArrayList<>();        for(int i=0;i<2;i++){   //控制爬取頁(yè)數(shù),一頁(yè)30張圖片            String url = "https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&queryWord="+key+"&word="+key+"&pn="+i*3+"0";            Spider.create(new DownloadPicture())                .addUrl(url)                .run();            urlList.addAll(urls);            nameList.addAll(names);        }        downloadPicture.downloadPicture(urlList,nameList,key);    }}

圖片是能直接下載下來(lái),誰(shuí)有好的關(guān)鍵字(你懂得(*^__^*) )記得留言
發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 黄山市| 无为县| 余庆县| 洛川县| 光泽县| 阳东县| 托克托县| 海门市| 拜城县| 开平市| 西乡县| 弋阳县| 丰原市| 全南县| 宁远县| 濉溪县| 丰县| 海城市| 龙川县| 兴安县| 民权县| 唐海县| 通渭县| 台山市| 阳泉市| 扎兰屯市| 银川市| 花莲市| 乌拉特后旗| 东方市| 巴林右旗| 得荣县| 津市市| 涟水县| 安福县| 舟山市| 清河县| 遂溪县| 峨山| 东乡族自治县| 浑源县|