關于如何預防robots.txt文件泄露網站后臺目錄的問題,我們首先需要了解robots.txt文件的用途和作用。
Robots使用說明
robots.txt可以告訴搜素引擎你網站的哪些頁面可以被抓取,哪些頁面不可以被抓取。
屏蔽無價值的頁面。
屏蔽重復路徑。
屏蔽死鏈等。
了解了robots.txt的功能后,我們會發現這樣的一個問題:
問題描述:
在robots.txt文件中設置搜索引擎不允許訪問“后臺目錄”,但是別人就會下載到robots.txt然后找出后臺目錄的地址,路徑泄漏導致不安全隱患,有什么解決方法嗎?當然有,下面361模板給出一般的解決方法。
解決方法:
首先,robots.txt是必須保證任何人、包括搜索引擎能訪問的,否則就沒有意義了,不能起到應有的作用。也可以這樣說,只要搜索引擎能訪問robots.txt,那任何人肯定也能訪問。
由于robots.txt不支持通配符和表達式等各種條件的判斷,所有只能通過變通的方法來實現盡可能的安全。
如果需要設置搜索引擎不允許訪問“后臺目錄”、又不想讓其他人看到后臺目錄(這是必須考慮到的!),假設后臺目錄是 /admin123/,那么我們可以在設置的時候這樣寫:
User-agent: * Disallow: /adm*/
關鍵在第二句,這樣寫就會阻止搜索引擎訪問任何以“adm”開頭的文件和目錄。為了防止別人猜出你的后臺目錄,這里截取的越短越好,比如:
User-agent: * Disallow: /a*/
這樣,同樣起到作用,但留的字母更少,更難猜了,這時會阻止搜索引擎訪問所有以“a”開頭的文件和目錄。
這里需要注意一個問題,就是要避免影響其它的目錄和文件,可以通過修改后臺目錄來實現,不要把別的需要收錄的文件或目錄一塊給屏蔽了。
如果后臺目錄以某個字母或幾個字母開頭,那就避免其它需要被收錄的文件或目錄以這幾個字母開頭,這樣就可以了。
你學會了嗎?這就是如何預防robots.txt文件泄露網站后臺目錄的全部內容。
新聞熱點
疑難解答