java實現爬取知乎用戶基本信息

2019-11-26 14:17:51

字體：大中小

來源：轉載

供稿：網友

本文實例為大家分享了一個基于JAVA的知乎爬蟲，抓取知乎用戶基本信息，基于HttpClient 4.5，供大家參考，具體內容如下
詳細內容：
抓取90W+用戶信息（基本上活躍的用戶都在里面）
大致思路：
1.首先模擬登錄知乎，登錄成功后將Cookie序列化到磁盤，不用以后每次都登錄（如果不模擬登錄，可以直接從瀏覽器塞入Cookie也是可以的）。
2.創建兩個線程池和一個Storage。一個抓取網頁線程池，負責執行request請求，并返回網頁內容，存到Storage中。另一個是解析網頁線程池，負責從Storage中取出網頁內容并解析，解析用戶資料存入數據庫，解析該用戶關注的人的首頁，將該地址請求又加入抓取網頁線程池。一直循環下去。
3.關于url去重，我是直接將訪問過的鏈接md5化后存入數據庫，每次訪問前，查看數據庫中是否存在該鏈接。
到目前為止，抓了100W用戶了，訪問過的鏈接220W+。現在抓取的用戶都是一些不太活躍的用戶了。比較活躍的用戶應該基本上也抓完了。
項目地址：https://github.com/wycm/mycrawler
實現代碼：

作者：臥顏沉默鏈接：https://www.zhihu.com/question/36909173/answer/97643000來源：知乎著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。  /**  *  * @param httpClient Http客戶端  * @param context Http上下文  * @return  */public boolean login(CloseableHttpClient httpClient, HttpClientContext context){String yzm = null;String loginState = null;HttpGet getRequest = new HttpGet("https://www.zhihu.com/#signin");HttpClientUtil.getWebPage(httpClient,context, getRequest, "utf-8", false);HttpPost request = new HttpPost("https://www.zhihu.com/login/email");List<NameValuePair> formParams = new ArrayList<NameValuePair>();yzm = yzm(httpClient, context,"https://www.zhihu.com/captcha.gif?type=login");//肉眼識別驗證碼formParams.add(new BasicNameValuePair("captcha", yzm));formParams.add(new BasicNameValuePair("_xsrf", ""));//這個參數可以不用formParams.add(new BasicNameValuePair("email", "郵箱"));formParams.add(new BasicNameValuePair("password", "密碼"));formParams.add(new BasicNameValuePair("remember_me", "true"));UrlEncodedFormEntity entity = null;try {entity = new UrlEncodedFormEntity(formParams, "utf-8");} catch (UnsupportedEncodingException e) {e.printStackTrace();}request.setEntity(entity);loginState = HttpClientUtil.getWebPage(httpClient,context, request, "utf-8", false);//登錄JSONObject jo = new JSONObject(loginState);if(jo.get("r").toString().equals("0")){System.out.println("登錄成功");getRequest = new HttpGet("https://www.zhihu.com");HttpClientUtil.getWebPage(httpClient,context ,getRequest, "utf-8", false);//訪問首頁HttpClientUtil.serializeObject(context.getCookieStore(),"resources/zhihucookies");//序列化知乎Cookies，下次登錄直接通過該cookies登錄return true;}else{System.out.println("登錄失敗" + loginState);return false;}}/**  * 肉眼識別驗證碼  * @param httpClient Http客戶端  * @param context Http上下文  * @param url 驗證碼地址  * @return  */public String yzm(CloseableHttpClient httpClient,HttpClientContext context, String url){HttpClientUtil.downloadFile(httpClient, context, url, "d:/test/", "1.gif",true);Scanner sc = new Scanner(System.in);String yzm = sc.nextLine();return yzm;}

效果圖：