Robots.txt怎么写？

Robots.txt由两部分组成。首先是User-agent，指出Robots.txt语句所涉及到的搜索引擎。其次是Disallow/Allow，指出对于User- agent中所涉及的搜索引擎，需要禁止或允许收录的URL，可以是绝对路径，也可以是相对路径。

下面举几个例子来进行说明：

1、禁止百度访问网站的任何部分。

• User-agent: Baiduspider
• Disallow: /

参考范例：http://www.taobao.com/robots.txt。

2、禁止spider访问特定目录。

• User-agent: *
• Disallow: /cgi-bin/
• Disallow: /tmp/

3、禁止访问网站中所有的动态页面。

• User-agent: *
• Disallow: /*?*

除此之外，通过Meta Robots对单独每个网页进行设置，也可以达到禁止搜索引擎的效果，详细操作请阅读教程Meta Robots怎么写。