收录域名 » 国外搜索引擎 » 如何查看网站的日记蜘蛛爬行

如何查看网站的日记蜘蛛爬行

想把一个网站的优化排名做好,就要知道百度蜘蛛到底是个什么东西,喜欢怎样的食物,怎样才能做好合适它胃口的美味大餐!作为一个合格的优化工作者,就需要知道如何网络日记,因为这里记录了蜘蛛的爬行记录!
  看日志都看什么?这个大家都知道要看http的状态码,分析里面返回的200,304,404等等通过这些来看看服务器不是不稳定,看看屏蔽一些页面等等.
  再者就是看看蜘蛛爬行的频率。看看蜘蛛爬为什么总是在这个时间爬取这个页面而是是频繁的爬取?为什么会爬取这个页面?
  对比分析一下我们会发现
  1. 一般凡是蜘蛛爬取的目录页面,他的搜索引擎的相关收录就会相对还得好一些。
  2.在这个目录中的长尾词的排名也相对的好一些。
  那么根据这个我们为什么不投“蛛”所好呢?不是有句话吗:爱它就给它(我也不知道出处)。
  问题又来了,要投其所好也要知道蜘蛛为什么会喜欢这个页面?为什么要频繁的爬取它,到底是什么吸引了它。所以我们就要对这个页面进行分析:
  分析一下蜘蛛到底喜欢什么样东西
  1. 更新速度快的页面。这个页面的内容更新的频率很快,每次蜘蛛爬取的时候它总是有新的内容,就好像去报亭买报纸,每天去一个报亭买报纸,相同的时间相同的地点,相同的位置,不同的内容更新的报纸。你可以付钱拿起来就走不用啰嗦!我想这样谁都喜欢。
  2. 网页的内容丰富。同样是报纸的例子,每次去买相同的报纸,但是你慢慢的发现报纸的内容就是那么窄窄的一个方面,想看国内新闻他只有地方的,想看国际的新闻他还是只有地方的。慢慢的我想你也会考虑换一家。但是如果内容丰富想看什么内容都有即使旁边的地方报纸包装的在好你也会选这个内容丰富的.
  3. 内容的重复性低。这个就很好理解了,谁喜欢天天看一样的东西。一期的报纸每个版面都重复的在说一个事情会让人很烦的。
  以上就是我对日志的一点理解,也许大家都知道。这是我的一点想法想拿出来和大家分享一下。 

0 Comments