新闻详情
解密搜索引擎蜘蛛
14-05-09查阅次数：550 次
我相信对于所有的SEO工作者来说,搜索引擎这个字眼应该说是又爱又恨了,而对于蜘蛛这个词相信有些刚入行的新人可能不是很懂,当然这里的蜘蛛不是我们实际意思的蜘蛛,也不是盘丝洞的蜘蛛大仙,而是所有的搜索引擎的一个爬行网站页面的一个机器人,为什么要说它是一个机器人呢?因为它从不休息.
我们都知道我们的网站是有一个个页面组成的,这些页面同时也是有一段段代码组成的,当然我们今天不是讲代码问题,这里只是顺带提一下,那么搜索引擎的蜘蛛来过你的网站吗,我们要怎么样才能知道搜索引擎蜘蛛来过我们的网站呢?下面绍兴SEO就为大家来演示一下如何知道搜索引擎蜘蛛来没有来过我们的网站?
要分析数据我们必须要知道数据源在哪里,我们要分析搜索引擎蜘蛛有没有来过我们的网站,那么我们必须要找到这个数据源在哪里,通常这个数据源就是我们所说的网站日志,那么这个数据源在哪里呢,一般的话在我们网站的根目录下logo文件夹里,当然也有放在不同的地方,找到网站日志后我们通过ftp工具将这个下载下来.
下载下来的网站日志是一个txt格式的文本文件,这个时候我们需要借用其她的工具来对这个文件进行分析,在这里我就用光年日志分析工具来分析,大家可以根据自己的喜好去用自己喜欢的工具来分析,这里就不多少了.
通过工具我们就知道蜘蛛在我们网站内的具体情况.我们都知道只有蜘蛛爬行过你的网站你的网站页面才有可能被收录的机会,所以当我们发现网站不收录时,我们就要分析一下网站日志,看下最近蜘蛛有没有来过我们的网站,如果没有我们就要对网站做出相应的调整,从而让蜘蛛能够来爬行和抓取我们的页面.
