你应该要知道的Robots

你应该要知道的Robots

通过robots.txt写法了解到我们在做网站优化时，可以通过robots.txt给网站进行“加分”，不但将网站的“隐私”保护起来，而且可以帮助百度蜘蛛更高效地工作，貌似有点“我为搜索引擎，搜索引擎为我”的意思。robots

通过robots.txt写法强化网站优化细节

作为SEO达人，是不是只要做到网站上添加个robots.txt文件，简单地写这么一两句Disallow语句就可以了吗？
虽然robots.txt写法看上去，似乎没有难度或技术可言，一般应用下即可，但如果从SEO高手层面来看，仅仅做到这些还是显然有些不够的。因为网站优化并非易事，需要一个完善的SEO体制，而这些体制正是建立在每个细节上，下面就再次通过robots.txt文件，一起与大家领悟下SEO是如何强化到每个网站优化细节上的。

robots.txt写法

屏蔽相似的页面或没内容的页面：要知道，网站内容被搜索引擎抓取后，会有个审核过程，相似度过高，其中一个是会被删除的。为了可控制，我们可以超前搜索引擎一步，先在robots.txt文件中屏蔽掉。关于没有内容，就更不要谈了，会被搜索引擎直接干掉，所以我们在做优化时，也将其直接干掉，无需多加考虑。
动态页和静态页共存时去掉动态页面：存在此情况的网站，还是很普遍的，基本上和上一条的原理一样，通常在做南京网站优化时都是在robots.txt文件中去掉动态页面，保留静态页面，向搜索引擎对网站的权威性“示好”。
屏蔽死链接：由于各种原因网站不可避免地或多或少地产生些死链接（即已无法访问的页面：如网站改版）。
robots.txt写法注意事项，come on~

文件名一定要小写：啥也不多说，照做就行，规范性的东西，首先必须遵守，然后再考虑周边优化。
至少包含一个Disallow：robots.txt文件中一般要包含至少一个Disallow，如果网站所有内容全部允许收录，可以只写一行Disallow:/search.html，这个文件(search.html)本来就不存在也没事。
不要屏蔽首页：很多网站经过伪静态或生成静态文件方式网站首页成为index.html后，将原先首页的index.php、index.asp……动态页给Disallow掉了。为什么这么做？目的只有一个：是将隐患降到最小。
不要写过多星号：关于这点，基本上初学者一不小心就会犯的错，不能因在robots.txt中写个星号很方便，而偷懒。robots.txt写法上追求还是尽量简洁点，关于这点，我们来看看百度是怎么做的：http://www.baidu.com/robots.txt。
不要什么都屏蔽：每个事物都不可能绝对的，其实某些非重要的页面，即便被收录了，也不会影响什么的，如果收录，建议可以不屏蔽（当然如果你觉得此页面或文件有碍，完全可以屏蔽，也无问题）。
OK，基本上通过robots.txt写法及其注意事项，本人在此也只是浅浅地分享下，主要还是在于分享一个SEO观点：其实SEO的工作是需要落实在每一个网站优化细节操作上的，即使是robots.txt这样一个看似简单的不能再简单的文件，也不例外。