你的網(wǎng)站信息安全嗎？樹大招風(fēng)，一些公司往往再收到攻擊之后，才想起網(wǎng)站安全。網(wǎng)站注冊的個人信息能被黑客們輕易的拿下，對用戶造成的損失無法估量。沒有100%安全而完美的系統(tǒng)，黑客們樂此不彼的研究著這些網(wǎng)站的安全漏洞，總有一天會被攻破。
網(wǎng)站根目錄下的robots.txt文件告訴搜索引擎的訪問范圍，使用方法很簡單，但是搜索引擎還是個人來說都是可以訪問的， 很多新人不知道這個文件的重要性，對于滲透測試人員或黑客，可以通過robots.txt文件發(fā)現(xiàn)敏感信息，比如猜測這是什么后臺用什么數(shù)據(jù)庫等，意味著自己的網(wǎng)站是真空上陣。
如何防止別人訪問呢？網(wǎng)上有人這么做：在IIS中，選中robots.txt，右鍵屬性里，選中重定向到URL，輸入任意一個非本站的URL路徑，勾選“上面準(zhǔn)確的URL”以及“資源的永久重定向”，有點基礎(chǔ)的童鞋知道，訪問 http://域名/robots.txt 時，是自動跳轉(zhuǎn)到指定的那個非本站URL路徑。 這個方法在Apache環(huán)境中可以借助.htaccess達到這個重定向的目的。
但是對于蜘蛛來說，這樣的跳轉(zhuǎn)意味著站內(nèi)不存在這個文件，那蜘蛛就不會遵守這個規(guī)則，把能發(fā)現(xiàn)的URL都抓了。
為防止別人利用robots文件泄露了網(wǎng)站的結(jié)構(gòu)，做其他手腳，站長們是絞盡腦汁。不讓搜索引擎來抓這個文件，那就不遵從抓取范圍，都會放進索引庫，對不想讓搜索引擎建立索引的方法參考：頁面不讓搜索引擎建立索引。
實用的防護措施，推薦采用通配符(*)替換敏感文件或文件夾比如某個重要文件夾為admin，可以這樣寫robots
User-agent:Disallow:/a*/意思是禁止所有搜索引擎索引根目錄下a開頭的目錄，一般的網(wǎng)站的比較通用的命名有admin,include,templets,plus等，這些都是重要的文件夾，可以修改文件名，但是其他關(guān)聯(lián)一并修改，否則系統(tǒng)會出錯。
用.htaccess禁止垃圾蜘蛛訪問 一搜YisouSpider #無視robots規(guī)則宜搜EasouSpider #無視robots規(guī)則易查 #無視robots規(guī)則MSNmsnbot-media有道youdao必應(yīng)bingbot當(dāng)然你也要看流量來源，如果有，那就不要屏蔽，實在是少得很有每天很勤快的來訪的話，可以屏蔽。
robots屏蔽蜘蛛
User-agent: YisouSpiderDisallow: /User-agent: EasouSpiderDisallow: /User-agent: msnbot-mediaDisallow: /User-agent: YoudaoBotDisallow: /User-agent: bingbotDisallow: /.htaccess屏蔽蜘蛛
SetEnvIfNoCase User-Agent "^Yisou" bad_botSetEnvIfNoCase User-Agent "^Easou" bad_botSetEnvIfNoCase User-Agent "^Youdao" bad_botSetEnvIfNoCase User-Agent "^msn" bad_botDeny from env=bad_bot或者如下寫法，中間加就行了
RewriteCond %{HTTP_USER_AGENT} (jikeSpider|easouSpider|YisouSpider|bingbot|YoudaoBot|) [NC]
以上就是網(wǎng)站的robots成為最大的安全漏洞的全部內(nèi)容，希望對大家的學(xué)習(xí)和解決疑問有所幫助，也希望大家多多支持武林網(wǎng)。
新聞熱點
疑難解答
