新闻详情
robots.txt、noindex和nofollow的三者之间的区别有哪些
14-01-09查阅次数：624 次
相信很多朋友看到这三个词的时候，如果要他全面的、准确的说出这三个词的各自意思还是有很多朋友并不是很清楚。这三个词中，robots.txt和nofollow应该是比较常用的，noindex可能稍微少用一些，那么他们三个各自的意思是什么呢？下面就有后起网络小编来为您讲解一下。
1、robots.txt是一个文件，一般都放在网站的根目录下，如果你二级目录也建了一个网站，那么这个robots.txt文件就放在二级目录下面。robots.txt的意思指叫搜索引擎不要访问这个页面所在的url，但是并不禁止搜索引擎禁止索引，如果有外来的链接指向这个url，搜索引擎还是会收录这个页面的，也就是说还是会在搜索引擎中被用户给搜索出来。
2、noindex是个代码属性，可以对某个页面加上noindex，这样的话，搜索引擎虽然会访问这个页面所在的url，但不会允许搜索引擎索引这个页面，也不允许在搜索结果页中显示。
3、nofollow也是个代码属性，意思是允许搜索引擎访问这个页面所在的url，也允许搜索引擎索引和显示在用户搜索页结果当中，但不传递pr、权重值。
从上面的第一点和第二点可以看出，其实robots.txt和noindex的作用是相反的，也就是说，你使用其中任何一直，你都不能完全的不让蜘蛛访问你的网站，要想不让蜘蛛抓取和索引你的网站的方法就是：robots.txt屏蔽蜘蛛抓取，用noindex屏蔽蜘蛛索引，两者一起用。
