我們在做網站seo最佳化過程中，會希望站內的某些頁面不被搜尋引擎收錄或者限制蜘蛛抓取某些特定網站連結，因此需要用到nofollow和noindex標籤。
nofollow
和
noindex
的用法
nofollow的意思是“禁止抓取該頁面”，有如下兩種用法
1。作為robots標籤放在
和之間，格式為，第一種用法的作用是告訴搜尋引擎不要抓取該頁面所有的連結。2。放在連結中，這種使用者的作用是告訴搜尋引擎不要抓取這條連結。
noindex的意思是“禁止收錄該頁面，noindex只有一種用法，那就是作為robots標籤放在
和之間，格式為，作用是告訴搜尋引擎不要收錄該頁面，如果已經收錄了該頁面，那麼刪除已經收錄的頁面。No
index、nofollow
標籤用法延伸
Index命令：告訴搜尋引擎允許抓取該頁面。（可以不設定，預設抓取）
Follow命令：告訴搜尋引擎可以在這個頁面上抓取連結並繼續訪問該頁面其他連結
上述四個指令有著如下的組合使用方式：
：可以抓取本頁，而且可以順著本頁繼續索引別的連結
：不許抓取本頁，但是可以順著本頁抓取索引別的連結
：可以抓取本頁，但是不許順著本頁抓取索引別的連結
：不許抓取本頁，也不許順著本頁抓取索引別的連結。
組合命令使用場景
：
1。想要一些高質量頁面被收錄並且允許蜘蛛抓取該頁面上的其他連結，則使用：
2。想要某個高質量的頁面被收錄，但不希望蜘蛛透過該頁面爬取其他連結（比如較大量的站外連結等）。則使用
3。不想某些低質量的UGC頁面被搜尋引擎收錄，但希望蜘蛛透過該頁面爬取到其他的連結，則使用
4。不想某個頁面被收錄和抓取，則使用
5。最後一個場景就是論壇類站點比較典型的在URL進行抓取限制
另外，robots裡的nofollow和noindex也可以對指定搜尋引擎爬蟲進行限制，比如的意思就是限制百度蜘蛛的抓取和收錄。