网站优化中robots文件重要性，robots文件要怎样写

做网站优化时，通常来说，网站或多或少都存在一些对排名没多大帮助反而还有害的页面，这个时候就需要用到robots文件。   Robots文件是搜索引擎中访问网站的时候要查看的第一个文件，它就像是一个网站看门管家，对网站优化非常重要。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots文件，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。    那么Robots文件应该如何写呢？下面为大家提供一些写法参考：   一：学习robots文件编写是网站优化过程中很有必要的一环，前提是得熟悉网站url和url的原理以及网站程序目录。为什么？蜘蛛是通过url抓取的。文件具体形式，以阿里云主机根目录为例，格式表示如下：   技巧：域名=根目录。   /htdocs/=域名   /htdocs/skin/=域名/skin/   /htdocs/skin/css/=域名/skin/stivle.css/   二：robots写法注意点：冒号后面有一个空格，必须全英文模式书写，字母大小写要注意，这是比较严谨的，需要特别注意。例如：   Disallow:  /ab/abc/   Allow:  /ab/abc/   User-agent:  Baiduspider   三：操作流程以及写法：桌面新建一个.txt文件，在文件上写robots规则。   1：下面先来看看名词定义解释，不同的搜索引擎有不同的蜘蛛。   【1】：User-Agent:  对蜘蛛进行的规定（1）对百度蜘蛛的规定User-agent:  Baiduspider 。（2）谷歌User-Agent:  Googlebot   （3）必应User-agent:  Bingbot  （4）360    User-Agent: 360Spider （5）宜搜User-Agent:   Yisouspider（6）搜狗User-Agent: Sogouspider （7）雅虎User-Agent: Yahoo! SlurpUser-Agent:  * 指对所有的蜘蛛   【2】：Disallow:  指禁止抓取。   【3】：Allow:  指允许抓取 。   2：写法：以上三个格式综合使用，例如：我们要屏蔽/skin/文件夹里面的一部分文件，但是又希望抓取到/skin/文件夹里面的/css/文件夹，书写技巧：先禁止抓取/skin/文件夹，后面再允许抓取/css/ 文件夹就可以了。   Disallow: /skin/ 表示禁止抓取/skin/文件夹   Allow: /css/表示允许抓取/skin/文件夹里面的/css/文件夹   注意点：前后都有斜杠表示文件夹。   3：符号名词解释：   （1）*通配符 ：代表所有的。例如：   User-Agent: * 就是表示对所有的蜘蛛   Allow: /skin/* 表示允许包括/skin/文件夹以下的所以文件   （2）$终止符：表示结束。例如不允许抓取.js结尾的文件，写成：Disallow: /*.js$   网站robots文件写法完整版以及注意事项   总之，在做seo网络推广时，Robots文件的书写过程应严格按照规则来，当然最重要的是写好之后要检查，以防书写错误，导致蜘蛛抓取不到。