新闻详情
robots.txt、noindex和nofollow的三者之间的区别有哪些
14-01-09查阅次数:1112 次
相信很多朋友看到这三个词的时候,如果要他全面的、准确的说出这三个词的各自意思还是有很多朋友并不是很清楚。这三个词中,robots.txt和nofollow应该是比较常用的,noindex可能稍微少用一些,那么他们三个各自的意思是什么呢?下面就有后起网络小编来为您讲解一下。
1、robots.txt是一个文件,一般都放在网站的根目录下,如果你二级目录也建了一个网站,那么这个robots.txt文件就放在二级目录下面。robots.txt的意思指叫搜索引擎不要访问这个页面所在的url,但是并不禁止搜索引擎禁止索引,如果有外来的链接指向这个url,搜索引擎还是会收录这个页面的,也就是说还是会在搜索引擎中被用户给搜索出来。
2、noindex是个代码属性,可以对某个页面加上noindex,这样的话,搜索引擎虽然会访问这个页面所在的url,但不会允许搜索引擎索引这个页面,也不允许在搜索结果页中显示。
3、nofollow也是个代码属性,意思是允许搜索引擎访问这个页面所在的url,也允许搜索引擎索引和显示在用户搜索页结果当中,但不传递pr、权重值。
从上面的第一点和第二点可以看出,其实robots.txt和noindex的作用是相反的,也就是说,你使用其中任何一直,你都不能完全的不让蜘蛛访问你的网站,要想不让蜘蛛抓取和索引你的网站的方法就是:robots.txt屏蔽蜘蛛抓取,用noindex屏蔽蜘蛛索引,两者一起用。