看了一些教程robots.txt標簽提到文件必須命名為 robots.txt,且必須位于網站的根目錄下,意思是robots.txt標簽用于文檔鏈接嗎? nofollow決定權重分配針對一個鏈接設置嗎?(技術小白提問)
1. 什么是robots.txt文件?
搜索引擎使用spider程序自動訪問互聯網上的網頁并獲取網頁信息。spider在訪問一個網站時,會首先會檢查該網站的根域下是否有一個叫做 robots.txt的純文本文件,這個文件用于指定spider在您網站上的抓取范圍。您可以在您的網站中創建一個robots.txt,在文件中聲明 該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
請注意,僅當您的網站包含不希望被搜索引擎收錄的內容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容,請勿建立robots.txt文件。
2. robots.txt文件放在哪里?
robots.txt文件應該放置在網站根目錄下。舉例來說,當spider訪問一個網站(比如 http://www.abc.com)時,首先會檢查該網站中是否存在http://www.abc.com/robots.txt這個文件,如果 Spider找到這個文件,它就會根據這個文件的內容,來確定它訪問權限的范圍。
3. nofollow標簽:
如果您不想搜索引擎追蹤此網頁上的鏈接,且不傳遞鏈接的權重,請將此元標記置入網頁的?部分:
<meta name="robots" content="nofollow">
如果您不想搜索引擎追蹤某一條特定鏈接,還支持更精確的控制,請將此標記直接寫在某條鏈接上:
< a href="signin.php" rel="nofollow" > sign in < / a>
nofollow 可以針對一個鏈接設置