国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > C# > 正文

基于C#實現網絡爬蟲 C#抓取網頁Html源碼

2020-01-24 01:13:48
字體:
來源:轉載
供稿:網友

最近剛完成一個簡單的網絡爬蟲,開始的時候很迷茫,不知道如何入手,后來發現了很多的資料,不過真正能達到我需要,有用的資料--代碼很難找。所以我想發這篇文章讓一些要做這個功能的朋友少走一些彎路。

首先是抓取Html源碼,并選擇<ul class="post_list">  </ul>節點的href:要添加using System.IO;using System.Net;

private void Search(string url){ string rl; WebRequest Request = WebRequest.Create(url.Trim());  WebResponse Response = Request.GetResponse();  Stream resStream = Response.GetResponseStream();  StreamReader sr = new StreamReader(resStream, Encoding.Default); StringBuilder sb = new StringBuilder(); while ((rl = sr.ReadLine()) != null) {  sb.Append(rl); }   string str = sb.ToString().ToLower();  string str_get = mid(str, "<ul class=/"post_list/">", "</ul>");   int start = 0; while (true) {  if (str_get == null)   break;  string strResult = mid(str_get, "href=/"", "/"", out start);  if (strResult == null)   break;  else  {   lab[url] += strResult;   str_get = str_get.Substring(start);  } }}    private string mid(string istr, string startString, string endString){ int iBodyStart = istr.IndexOf(startString, 0);    //開始位置 if (iBodyStart == -1)  return null; iBodyStart += startString.Length;       //第一次字符位置起的長度 int iBodyEnd = istr.IndexOf(endString, iBodyStart);   //第二次字符在第一次字符位置起的首次位置 if (iBodyEnd == -1)  return null; iBodyEnd += endString.Length;        //第二次字符位置起的長度 string strResult = istr.Substring(iBodyStart, iBodyEnd - iBodyStart - 1); return strResult;}  private string mid(string istr, string startString, string endString, out int iBodyEnd){ //初始化out參數,否則不能return iBodyEnd = 0;  int iBodyStart = istr.IndexOf(startString, 0);    //開始位置 if (iBodyStart == -1)  return null; iBodyStart += startString.Length;       //第一次字符位置起的長度 iBodyEnd = istr.IndexOf(endString, iBodyStart);   //第二次字符在第一次字符位置起的首次位置 if (iBodyEnd == -1)  return null; iBodyEnd += endString.Length;        //第二次字符位置起的長度 string strResult = istr.Substring(iBodyStart, iBodyEnd - iBodyStart - 1); return strResult;}

好了,上面就是全部代碼了,如果你想要運行出來的話,有些細節要自己修改下。

以上就是本文的全部內容,希望對大家的學習有所幫助。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 汉源县| 黑水县| 丽江市| 社旗县| 南乐县| 中西区| 丹阳市| 外汇| 大英县| 绩溪县| 义马市| 荆门市| 五指山市| 西安市| 渭南市| 师宗县| 昆山市| 高雄县| 龙州县| 泊头市| 大竹县| 康平县| 茶陵县| 隆子县| 江安县| 泾源县| 襄垣县| 漯河市| 梁山县| 满城县| 灵寿县| 鱼台县| 秭归县| 绥中县| 应用必备| 台山市| 营山县| 黄大仙区| 方城县| 安阳县| 公安县|