国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 系統(tǒng) > Android > 正文

android使用Jsoup 抓取頁面的數(shù)據(jù)

2019-12-12 04:48:22
字體:
供稿:網(wǎng)友

jsoup 是一款Java 的HTML解析器,可直接解析某個URL地址、HTML文本內(nèi)容。它提供了一套非常省力的API,可通過DOM,CSS以及類似于jQuery的操作方法來取出和操作數(shù)據(jù)。

Jsoup的官方中文地址:http://www.open-open.com/jsoup/parse-document-from-string.htm
在這個網(wǎng)站上你可以找到一些說明,.jar文件的下載,doc文檔的說明等等 

jsoup的主要功能如下:

  1. 從一個URL,文件或字符串中解析HTML;
  2. 使用DOM或CSS選擇器來查找、取出數(shù)據(jù);
  3.  可操作HTML元素、屬性、文本;

jsoup是基于MIT協(xié)議發(fā)布的,可放心使用于商業(yè)項(xiàng)目。

Jsoup類下面的方法都是靜態(tài)可直接調(diào)用。幾個方法的說明  

Connect()方法,獲得一個Connection,然后調(diào)用Connection對象get()方法獲得Document對象。然后再解析Document對象  Connection提供了一些設(shè)置方法timeout(),url()等等 

這里貼一下我用到的 Java工程的測試代碼 

package com.javen.Jsoup;import java.io.IOException;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;public class JsoupTest {  static String url="http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html";  /**   * @param args   * @throws Exception   */  public static void main(String[] args) throws Exception {        // TODO Auto-generated method stub    BolgBody();    //test();    //Blog();    /*     * Document doc = Jsoup.connect("http://m.survivalescaperooms.com/")     * .data("query", "Java") // 請求參數(shù) .userAgent("I ' m jsoup") // 設(shè)置     * User-Agent .cookie("auth", "token") // 設(shè)置 cookie .timeout(3000) //     * 設(shè)置連接超時時間 .post();     */// 使用 POST 方法訪問 URL    /*     * // 從文件中加載 HTML 文檔 File input = new File("D:/test.html"); Document doc     * = Jsoup.parse(input,"UTF-8","http://m.survivalescaperooms.com/");     */  }  /**   * 獲取指定HTML 文檔指定的body   * @throws IOException   */  private static void BolgBody() throws IOException {    // 直接從字符串中輸入 HTML 文檔    String html = "<html><head><title> 開源中國社區(qū) </title></head>"        + "<body><p> 這里是 jsoup 項(xiàng)目的相關(guān)文章 </p></body></html>";    Document doc = Jsoup.parse(html);    System.out.println(doc.body());            // 從 URL 直接加載 HTML 文檔    Document doc2 = Jsoup.connect(url).get();    String title = doc2.body().toString();    System.out.println(title);  }  /**   * 獲取博客上的文章標(biāo)題和鏈接   */  public static void article() {    Document doc;    try {      doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();      Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle");      for (Element element :ListDiv) {        Elements links = element.getElementsByTag("a");        for (Element link : links) {          String linkHref = link.attr("href");          String linkText = link.text().trim();          System.out.println(linkHref);          System.out.println(linkText);        }      }    } catch (IOException e) {      // TODO Auto-generated catch block      e.printStackTrace();    }  }  /**   * 獲取指定博客文章的內(nèi)容   */  public static void Blog() {    Document doc;    try {      doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();      Elements ListDiv = doc.getElementsByAttributeValue("class","postBody");      for (Element element :ListDiv) {        System.out.println(element.html());      }    } catch (IOException e) {      // TODO Auto-generated catch block      e.printStackTrace();    }      }}

下面來介紹android中使用Jsoup異步解析網(wǎng)頁的數(shù)據(jù) 請注意: 這里很容易遇到一個亂碼的問題

配置文件:AndroidManifest.xml中加 權(quán)限

<uses-permission android:name="android.permission.INTERNET"></uses-permission>

layout的布局文件

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"  xmlns:tools="http://schemas.android.com/tools"  android:layout_width="match_parent"  android:layout_height="match_parent"  android:orientation="vertical" >  <WebView    android:id="@+id/webView"    android:layout_width="fill_parent"    android:layout_height="200dp" />  <ScrollView    android:layout_width="wrap_content"    android:layout_height="wrap_content" >    <TextView      android:id="@+id/textView"      android:layout_width="wrap_content"      android:layout_height="wrap_content"      android:text="@string/hello_world" />  </ScrollView></LinearLayout>

主要異步加載數(shù)據(jù)的代碼

package com.javen.aaa;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.URL;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;import android.app.Activity;import android.app.Dialog;import android.app.ProgressDialog;import android.os.AsyncTask;import android.os.Bundle;import android.util.Log;import android.webkit.WebView;import android.widget.TextView;public class MainActivity extends Activity {  private WebView webView;  private TextView textView;  private static final int DIALOG_KEY = 0;  @Override  protected void onCreate(Bundle savedInstanceState) {    super.onCreate(savedInstanceState);    setContentView(R.layout.main);    webView = (WebView) findViewById(R.id.webView);    textView=(TextView) findViewById(R.id.textView);    try {      ProgressAsyncTask asyncTask=new ProgressAsyncTask(webView,textView);      asyncTask.execute(10000);    } catch (Exception e) {      // TODO Auto-generated catch block      e.printStackTrace();    }  }    public String test() {    StringBuffer buffer=new StringBuffer();    Document doc;    try {      doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();      Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle");      for (Element element :ListDiv) {        Elements links = element.getElementsByTag("a");        for (Element link : links) {          String linkHref = link.attr("href");          String linkText = link.text().trim();          buffer.append("linkHref=="+linkHref);          buffer.append("linkText=="+linkText);                    System.out.println(linkHref);          System.out.println(linkText);        }      }    } catch (IOException e) {      // TODO Auto-generated catch block      e.printStackTrace();    }    return buffer.toString();  }    // 彈出"查看"對話框    @Override    protected Dialog onCreateDialog(int id) {      switch (id) {      case DIALOG_KEY: {        ProgressDialog dialog = new ProgressDialog(this);        dialog.setMessage("獲取數(shù)據(jù)中 請稍候...");        dialog.setIndeterminate(true);        dialog.setCancelable(true);        return dialog;      }      }      return null;    }        public static String readHtml(String myurl) {      StringBuffer sb = new StringBuffer("");      URL url;      try {        url = new URL(myurl);        BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream(), "gbk"));        String s = "";        while ((s = br.readLine()) != null) {          sb.append(s + "/r/n");        }      } catch (Exception e) {        e.printStackTrace();      }      return sb.toString();    }    class ProgressAsyncTask extends AsyncTask<Integer, Integer, String> {    private WebView webView;    private TextView textView;    public ProgressAsyncTask(WebView webView,TextView textView) {      super();      this.webView=webView;      this.textView=textView;    }    /**     * 這里的Integer參數(shù)對應(yīng)AsyncTask中的第一個參數(shù) 這里的String返回值對應(yīng)AsyncTask的第三個參數(shù)     * 該方法并不運(yùn)行在UI線程當(dāng)中,主要用于異步操作,所有在該方法中不能對UI當(dāng)中的空間進(jìn)行設(shè)置和修改     * 但是可以調(diào)用publish Progress方法觸發(fā)onProgressUpdate對UI進(jìn)行操作     */    @Override    protected String doInBackground(Integer... params) {      String str =null;      Document doc = null;      try {//        String url ="http://www.cnblogs.com/zyw-205520/p/3355681.html";//        //        doc= Jsoup.parse(new URL(url).openStream(),"utf-8", url);//        //doc = Jsoup.parse(readHtml(url));//        //doc=Jsoup.connect(url).get();//        str=doc.body().toString();        doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();        Elements ListDiv = doc.getElementsByAttributeValue("class","postBody");        for (Element element :ListDiv) {          str=element.html();          System.out.println(element.html());        }        Log.d("doInBackground", str.toString());        System.out.println(str);        //你可以試試GBK或UTF-8      } catch (Exception e) {        // TODO Auto-generated catch block        e.printStackTrace();      }      return str.toString() ;      //return test();    }    /**     * 這里的String參數(shù)對應(yīng)AsyncTask中的第三個參數(shù)(也就是接收doInBackground的返回值)     * 在doInBackground方法執(zhí)行結(jié)束之后在運(yùn)行,并且運(yùn)行在UI線程當(dāng)中 可以對UI空間進(jìn)行設(shè)置     */    @Override    protected void onPostExecute(String result) {      webView.loadData(result, "text/html;charset=utf-8", null);      textView.setText(result);      removeDialog(DIALOG_KEY);    }    // 該方法運(yùn)行在UI線程當(dāng)中,并且運(yùn)行在UI線程當(dāng)中 可以對UI空間進(jìn)行設(shè)置    @Override    protected void onPreExecute() {      showDialog(DIALOG_KEY);    }    /**     * 這里的Intege參數(shù)對應(yīng)AsyncTask中的第二個參數(shù)     * 在doInBackground方法當(dāng)中,,每次調(diào)用publishProgress方法都會觸發(fā)onProgressUpdate執(zhí)行     * onProgressUpdate是在UI線程中執(zhí)行,所有可以對UI空間進(jìn)行操作     */    @Override    protected void onProgressUpdate(Integer... values) {          }  }}

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持武林網(wǎng)。

發(fā)表評論 共有條評論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 南漳县| 巴东县| 汶川县| 宜阳县| 深水埗区| 宝清县| 青河县| 夏河县| 德化县| 琼中| 大连市| 乐昌市| 余庆县| 阿合奇县| 平武县| 安宁市| 东源县| 剑河县| 新竹县| 阿勒泰市| 庄浪县| 井研县| 凌源市| 张家川| 乐山市| 滨海县| 东海县| 汪清县| 通渭县| 巨野县| 无极县| 浦北县| 阳高县| 安福县| 衡东县| 高安市| 东光县| 葵青区| 潜江市| 泰来县| 澎湖县|