robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用页面级的robots元数据（Metadata，又称元标签）。
robots协议并不是一个规范，而只是约定俗成的做法，因此并不能完全保证网站的隐私或阻止恶意抓取行为。尽管大多数主流搜索引擎会尊重robots.txt中的指示，但某些不良行为者可能会忽略这些指引。
robots.txt文件是一个简单的文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad、记事本++（Notepad++），或者Mac上的TextEdit都可以创建和编辑它。robots.txt是一个协议，而不是一个命令。它是搜索引擎在访问网站时要查看的第一个文件，用以了解哪些部分允许被抓取，哪些部分应当被排除在外。
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt文件。如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件，以免误配置导致不必要的限制。
如果将网站视为酒店里的一个房间，robots.txt就像是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观，哪些房间因为存放贵重物品，或可能涉及住户及访客的隐私而不对搜索引擎开放。但需要注意的是，robots.txt不是命令，也不是防火墙，如同守门人无法阻止窃贼等恶意闯入者。因此，对于真正敏感的信息，应该采取更严格的保护措施，如密码保护或IP限制。
