国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > .NET > 正文

asp.net(c#)捕捉搜索引擎蜘蛛和機器人

2024-07-10 13:21:51
字體:
來源:轉載
供稿:網(wǎng)友
下面是訪問日志文件
2008-8-13 14:43:22

Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 1.1.4322)



2008-8-13 14:43:27

Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 1.1.4322)



2008-8-13 14:44:18

Mozilla/5.0 (compatible; Yahoo! Slurp; )



2008-8-13 14:44:26

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Maxthon; QQDownload 1.7; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)



2008-8-13 14:45:17

Mozilla/5.0 (compatible; Yahoo! Slurp; )

打開這個文件,這個文件用于記錄訪問搜索吧的正常訪客或者機器人蜘蛛,從中提取的蜘蛛有: Mozilla/5.0 (compatible; Googlebot/2.1; +)

Gigabot/3.0 ()

Mozilla/5.0 (compatible; Yahoo! Slurp; )

Mozilla/5.0 (compatible; YodaoBot/1.0; ; )

Sogou web spider/4.0(+#07)

msnbot/1.1 (+)

Baiduspider+(+)

代碼也十分的簡單:

復制代碼 代碼如下:


string agent = System.Web.HttpContext.Current.Request.ServerVariables["HTTP_USER_AGENT"];
if (agent == null)
{
Response.Write("Other");
}
else
{
Response.Write(agent);
}


你可以自己用這個代碼試下,發(fā)現(xiàn)會輸出類似: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0; .NET CLR 2.0.50727; .NET CLR 1.1.4322)
結合這個你就可以寫一個蜘蛛訪問記錄了,如何判斷正常用戶或者蜘蛛?可以粗略的這樣來判斷:通過判斷用戶的訪問來源頁面,比如從vevb.com/index.htm這個文件點進show.asp?id=11那么他的來源頁面我們知道就是vevb.com/index.htm,那么粗略判斷他就是正常客戶。而蜘蛛的來源則不是,把這部分不是的記錄下來,再從中選擇。可以結合數(shù)據(jù)庫進行記錄。
發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 江达县| 石渠县| 富锦市| 壶关县| 嘉祥县| 泗洪县| 武隆县| 库尔勒市| 岳池县| 宽城| 佛山市| 青海省| 阳信县| 宁乡县| 封开县| 无为县| 桦甸市| 秦皇岛市| 临洮县| 临朐县| 共和县| 布拖县| 太保市| 内江市| 泰兴市| 高淳县| 晋中市| 任丘市| 仪征市| 甘德县| 成都市| 华安县| 双鸭山市| 苍南县| 深州市| 阳朔县| 霸州市| 银川市| 兴城市| 东宁县| 东城区|