名词解释：robots.txt语法教程

本文摘要部分

用几个最常见的情况，直接举例说明：

1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：......

帖子其余部分

用几个最常见的情况，直接举例说明：

1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。

2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/

3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /

4. 禁止所有SE收录本站：
User-agent: * Disallow: /

5. 加入sitemap.xml路径，例如：
Sitemap: http://www.seotest.cn/sitemap.xml

参考资料：
常见搜索引擎机器人Robots名字
名称 搜索引擎
Baiduspider http://www.baidu.com/
Googlebot http://www.google.com/
MSNBOT http://search.msn.com/
ia_archiver http://www.alexa.com/

一个在线写robots.txt的工具
http://www.clickability.co.uk/robotstxt.html
最后需要注意，robots.txt文件名必须是小写，而且放在网站根目录，比如： http://www.seotest.cn/robots.txt