最近手頭在做一些東西，需要一個全國各地的地域數據，從省市區到縣鎮鄉街道的。各種度娘，各種谷歌，都沒找到一個完整的數據。最后功夫不負有心人，總算找到一份相對來說比較完整的數據，但是這里的數據也只是精確到鎮級別，沒有村一級的數據（后來通過分析數據源我知道了為什么，呵呵），在加上博主提供的有些數據存在冗余，對于有強迫癥和追求完美的我，心想著我一定要自己動手去把這部分數據給爬取出來。
上述博文中的內容還算豐富，博主是用的是php來實現的，作為2015年度編程語言排行榜的第一位，我們也不能示弱啊，下面我就帶著大家一起來看看用java怎么從網頁當中爬取我們想要的數據...
數據源（截止目前最全面權威的官方數據）：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/
爬取數據的工具（爬蟲工具）：http://jsoup.org/
首先jsoup工具的使用我在這里就不做講解了，感興趣的可以自己動手去查閱。
做開發就應該多去了解一些軟件工具的使用，在平常開發過程中遇到了才知道從何下手，鼓勵大家多平時留意一些身邊的軟件工具，以備不時之需。在做這個東西以前，我也不知道jsoup要怎么用，但我知道jsoup可以用來干嘛，在我需要的用到的時候，再去查閱資料，自己學習。
上述的數據源是2013年中華人民共和國國家統計局發布的，其準確性和權威性不言而喻。
接下來我們分析一下數據源的結構，先從首頁說起： 
通過分析首頁源碼我們可以得到如下3點：
Document connect = connect("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/");Elements rowPRovince = connect.select("table");
來解析數據的。
再次我們再看一下一般的數據頁面（一般的數據頁面包括市級、縣級、鎮級這三級數據展示頁面）：
之所以要把上述三個頁面放在一起，是因為通過分析我們可以發現，這三級數據的數據頁面完全一致，唯一不同的就是在html源碼數據表格中的數據行tr的class屬性不一致，分別對應為：citytr,countrytrhe towntr。其他均一致。這樣我們就可以用一個通用的方法解決這三個頁面的數據爬取。 
最后看看村一級的數據頁面： 
在村一級的數據中，和上述市縣鎮的數據格式不一致，這一級所表示的數據是最低一級的，所以不存在a鏈接，因此不能采用上面市縣鎮數據的爬取方式去爬取；這里展示數據的表格行的class為villagetr，除開這兩點以外，在每一行數據中包含三列數據，第一列是citycode,第二列是城鄉分類（市縣鎮的數據格式不存在這一項），第三列是城市名稱。
把握了以上各個要點之外，我們就可以開始編碼了。
1 import java.io.BufferedWriter; 2 import java.io.File; 3 import java.io.FileWriter; 4 import java.io.IOException; 5 import java.util.HashMap; 6 import java.util.Map; 7 8 import org.jsoup.Jsoup; 9 import org.jsoup.nodes.Document; 10 import org.jsoup.nodes.Element; 11 import org.jsoup.select.Elements; 12 13 /** 14 * 全國省市縣鎮村數據爬取 15 * @author liushaofeng 16 * @date 2015-10-11 上午12:19:39 17 * @version 1.0.0 18 */ 19 public class JsoupTest 20 { 21 private static Map<Integer, String> CSSMap = new HashMap<Integer, String>(); 22 private static BufferedWriter bufferedWriter = null; 23 24 static 25 { 26 cssMap.put(1, "provincetr");// 省 27 cssMap.put(2, "citytr");// 市 28 cssMap.put(3, "countytr");// 縣 29 cssMap.put(4, "towntr");// 鎮 30 cssMap.put(5, "villagetr");// 村 31 } 32 33 public static void main(String[] args) throws IOException 34 { 35 int level = 1; 36 37 initFile(); 38 39 // 獲取全國各個省級信息 40 Document connect = connect("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/"); 41 Elements rowProvince = connect.select("tr." + cssMap.get(level)); 42 for (Element provinceElement : rowProvince)// 遍歷每一行的省份城市 43 { 44 Elements select = provinceElement.select("a"); 45 for (Element province : select)// 每一個省份(四川省) 46 { 47 parseNextLevel(province, level + 1); 48 } 49 } 50 51 closeStream(); 52 } 53 54 private static void initFile() 55 { 56 try 57 { 58 bufferedWriter = new BufferedWriter(new FileWriter(new File("d://CityInfo.txt"), true)); 59 } catch (IOException e) 60 { 61 e.printStackTrace(); 62 } 63 } 64 65 private static void closeStream() 66 { 67 if (bufferedWriter != null) 68 { 69 try 70 { 71 bufferedWriter.close(); 72 } catch (IOException e) 73 { 74 e.printStackTrace(); 75 } 76 bufferedWriter = null; 77 } 78 } 79 80 private static void parseNextLevel(Element parentElement, int level) throws IOException 81 { 82 try 83 { 84 Thread.sleep(500);//睡眠一下，否則可能出現各種錯誤狀態碼 85 } catch (InterruptedException e) 86 { 87 e.printStackTrace(); 88 } 89 90 Document doc = connect(parentElement.attr("abs:href")); 91 if (doc != null) 92 { 93 Elements newsHeadlines = doc.select("tr." + cssMap.get(level));// 94 // 獲取表格的一行數據 95 for (Element element : newsHeadlines) 96 { 97 printInfo(element, level + 1); 98 Elements select = element.select("a");// 在遞歸調用的時候，這里是判斷是否是村一級的數據，村一級的數據沒有a標簽 99 if (select.size() != 0)100 {101 parseNextLevel(select.last(), level + 1);102 }103 }104 }105 }106 107 /**108 * 寫一行數據到數據文件中去109 * @param element 爬取到的數據元素110 * @param level 城市級別111 */112 private static void printInfo(Element element, int level)113 {114 try115 {116 bufferedWriter.write(element.select("td").last().text() + "{" + level + "}["117 + element.select("td").first().text() + "]");118 bufferedWriter.newLine();119 bufferedWriter.flush();120 } catch (IOException e)121 {122 e.printStackTrace();123 }124 }125 126 private static Document connect(String url)127 {128 if (url == null || url.isEmpty())129 {130 throw new IllegalArgumentException("The input url('" + url + "') is invalid!");131 }132 try133 {134 return Jsoup.connect(url).timeout(100 * 1000).get();135 } catch (IOException e)136 {137 e.printStackTrace();138 return null;139 }140 }141 }
數據爬取過程便是一個漫長的過程，只需要慢慢等待吧，呵呵,由于程序運行時間較長，請不要在控制臺打印輸出，否則可能會影響程序運行....最終獲取到數據的格式如下（"{}"中表示城市級別，"[]"中內容表示城市編碼）：
市轄區{3}[110100000000]東城區{4}[110101000000]東華門街道辦事處{5}[110101001000]多福巷社區居委會{6}[110101001001]銀閘社區居委會{6}[110101001002]東廠社區居委會{6}[110101001005]智德社區居委會{6}[110101001006]南池子社區居委會{6}[110101001007]黃圖崗社區居委會{6}[110101001008]燈市口社區居委會{6}[110101001009]正義路社區居委會{6}[110101001010]甘雨社區居委會{6}[110101001011]臺基廠社區居委會{6}[110101001013]韶九社區居委會{6}[110101001014]王府井社區居委會{6}[110101001015]景山街道辦事處{5}[110101002000]隆福寺社區居委會{6}[110101002001]吉祥社區居委會{6}[110101002002]黃化門社區居委會{6}[110101002003]鐘鼓社區居委會{6}[110101002004]魏家社區居委會{6}[110101002005]汪芝麻社區居委會{6}[110101002006]景山東街社區居委會{6}[110101002008]皇城根北街社區居委會{6}[110101002009]交道口街道辦事處{5}[110101003000]交東社區居委會{6}[110101003001]福祥社區居委會{6}[110101003002]大興社區居委會{6}[110101003003]府學社區居委會{6}[110101003005]鼓樓苑社區居委會{6}[110101003007]菊兒社區居委會{6}[110101003008]南鑼鼓巷社區居委會{6}[110101003009]安定門街道辦事處{5}[110101004000]交北頭條社區居委會{6}[110101004001]北鑼鼓巷社區居委會{6}[110101004002]國子監社區居委會{6}[110101004003]......拿到以上數據以后，自己想干什么都可以自我去實現了，以上的代碼可以直接運行，從數據源爬取后，可以直接轉換成自己所要的格式。
后續處理的最終結果，請參見博文：http://m.survivalescaperooms.com/liushaofeng89/p/4937714.html
如果你覺得本博文對你有所幫助，請記得點擊右下方的"推薦"哦，么么噠...
轉載請注明出處：http://m.survivalescaperooms.com/liushaofeng89/p/4873086.html
新聞熱點
疑難解答
