WordPress robots.txt是什么？有什么用？

robots.txt文件是一个文本文件，存放在网站根目录下，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它。robots.txt是一个协议，是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

WordPress的robots位置

没有在WordPress网站根节目上传过robots.txt,当搜寻引擎和用户拜访某个文件时，WordPress程序会主动生成一个robots.txt给搜寻引擎和用户;若是我们上传编写的robots.txt到网站根节目，用户和搜寻引擎蛛蛛拜访的就是我们上传的文件，WordPress就不会再产生那个文件了。只有服务器找不到robots的时候WordPress才会生成这个文件。

WordPress robots.txt怎么写？

禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)

User-agent: *

Allow:　/

禁止某个搜索引擎的访问

User-agent: BadBot

Disallow: /

允许某个搜索引擎的访问

User-agent: Baiduspider

allow:/

WordPress168的robots.txt

User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /pho

Disallow: /feed

Disallow: /*/feed

Disallow: /*/*/feed

Disallow: /*/*/*/feed

Disallow: /trackback

Disallow: /*/trackback

Disallow: /*/*/trackback

Disallow: /*/*/*/trackback

Disallow: /comments

Disallow: /*.php$

Disallow: /*.jpg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.css$

Disallow: /*.js$

Disallow: /*?*

Sitemap: http://www.wordpress168.com/sitemap_baidu.xml

WordPress robots.txt写法注意事项

关于robots.txt一般站长需要注意以下几点：

robots.txt文档以User-agent: 开头，标识语句对应的搜索引擎机器人，后面跟上Disallow: 和Allow：表示起作用的链接。

如果你的站点对所有搜索引擎公开，则不用做这个文件或者robots.txt为空就行。

必须命名为：robots.txt，都是小写，robot后面加”s”。

robots.txt必须放置在一个站点的根目录下。如：通过http://www.wordpress168.com/robots.txt 可以成功访问到，则说明本站的放置正确。

观察这个页面并修改为自己的：http://www.wordpress168.com/robots.txt

有几个禁止，就得有几个Disallow函数，并分行描述。