robots.txt 是一个文本文档，用于控制搜索引擎蜘蛛抓取网站页面的范围，告知搜索引擎网站哪些页面（目录）可以抓取，哪些页面不可以抓取（例如一些涉及网站安全的页面及影响SEO效果的页面）。以下是关于 robots.txt 的基本知识介绍：
一、robots.txt 位于网站根目录（放在其他位置无效），文件路径为：https://您的域名/robots.txt，以我的博客为例，路径为：https://www.seolove.com.cn/robots.txt。
二、如果网站没有设置 robots.txt，搜索引擎将默认抓取网站所有页面。如果网站设置了 robots.txt，搜索引擎将按照设定的规则抓取网站页面。就像是一所房子，如果所有的门都没有上锁，访客就可以自由进出每一个房间。如果某个房间上了锁，访客就无法进入。
三、某些搜索引擎可能不遵守 robots.txt 协议，无论 robots.txt、noindex 还是 nofollow 都不是强制性规则。
四、举例说明 robots.txt 的写法，如下：
- User-agent: *（User-agent: 代表搜索引擎协议，* 代表所有搜索）
- Disallow: /?s=*（不允许索引所有带有“?s=”的链接）
- Disallow: /?r=*（不允许索引所有带有“?r=”的链接）
- Disallow: /images/（不允许索引“images”目录）
- Disallow: /index.php?image=*（不允许索引“index.php?image=”的链接）
- Sitemap: https://www.seolove.com.cn/wp-sitemap.xml
五、编写 robots.txt 时需要注意以下几个事项：
- Disallow: 和 / 之间需要加一个空格
- 通常只需屏蔽不允许抓取的路径和文件
- robots.txt 必须放在网站根目录下
- 请谨慎对待 robots.txt（不要随意屏蔽网站目录和链接）
