什么是robots，你可以理解为搜索引擎蜘蛛抓取的规则。当蜘蛛来到你的网站的时候首先会看下robots.txt这个文件，它会告诉蜘蛛哪些页面可以抓取，哪些页面要屏蔽掉不能抓取和收录。

那么robots文件一般是怎么生成的呢？一般robots文件是放在网站根目录的，有的CMS是自带robots文件的，当然如果没有的话是需要你自己写一个robots文件然后上传到服务器根目录上去也是可以的。通常robots文件的写法是这样的：

User-agent:*

Disallow:/

Disallow表示不允许搜索引擎抓取的内容，有的时候也会写Allow，是表示允许搜索引擎抓取哪些内容。当你写好robots文件，然后传到服务器上面之后，可以在浏览器检测下是否成功，一般在浏览器键入http://www.xxxx.com/robots.txt，即可验证。

robots文件一般都有什么作用呢？比如说新站，很多新站是刚上线的，搜索引擎蜘蛛的抓取频率比较有限，所以一定要合理的利用好robots文件，引导蜘蛛爬行和抓取。

又比如说有的网站是做了伪静态处理的，那么在上线前最好将动态链接给屏蔽掉，这个时候就要在robots文件里面写Disallow。如果你不屏蔽掉动态网页链接，那么搜索引擎蜘蛛过来抓取的时候发现动态网页和静态网页都是指向一个页面的，页面的排版布局和内容都一样，这就是镜像网页了。这样对SEO是有一定的影响的。

总之，robots一定要巧妙的运用起来，运用得好的话对网站整体的优化都会有好处的。这里也希望大家能合理的运用好robots文件。