robots.txt 规则写法与常见配置陷阱全解析

📍 WDQWDWQD987AAAAA:216.73.216.78
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /45bcf6a285e7.html
📄

搜索引擎爬虫访问网站时，根目录下的 robots.txt 文件是它们最先读取的内容。这个纯文本文件相当于给爬虫的一份访问守则，明确标注哪些路径可以抓取、哪些区域需要绕行。配置得当，既能保护后台与隐私目录不被收录，又能让爬虫把有限的抓取配额集中在核心页面上，对 SEO 产生直接的积极影响。

1. 指令拆解：搞清每个字段的真实作用

robots.txt 必须放在站点根目录，例如 https://yourdomain.com/robots.txt，文件名和目录区分大小写，推荐用 UTF-8 编码保存。每条指令单独占一行，行尾最好不要留多余空格。想写出正确的规则，先要理解几个基础字段的含义与边界：

• User-agent：声明这条规则适用于哪一个爬虫，星号 * 代表所有爬虫。
• Disallow：标注不能抓取的路径，如果值是 /，等于阻止所有爬虫访问全站。
• Allow：允许某个子路径被抓取，但此指令并非所有搜索引擎都支持，比如 Googlebot 认可，部分爬虫则会忽略它。

除了以上三条，还可以加入 Sitemap 行指明地图文件的位置。来看一个典型组合：

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://yourdomain.com/sitemap.xml

这段配置的意思是：默认允许抓取全站，但 /admin/ 目录不开放，其中 /admin/public/ 属于例外，可以访问。这里有个容易出错的地方：如果某个爬虫不理解 Allow 指令，那么它只会看到 Disallow 的限制，/admin/public/ 对它们依然是禁区。

2. 常见配置模板：按场景直接选用

不同站点的目标不同，robots.txt 写出来的样子也差别很大。下面三种模式覆盖了绝大多数需求，你可以直接参考并替换自己的路径。

2.1 全站对外开放

内容型站点或者刚上线的新站，通常希望所有页面都能被抓。这时只需一行规则：

User-agent: *
Disallow:

其实把 Disallow 整行去掉效果也一样。最怕的就是手误写成 Disallow: /，一旦如此，所有爬虫都会被拒之门外，收录数据会立刻停摆。改完规则后，最好用站长平台的抓取测试工具确认一下实际效果。

2.2 单独屏蔽某个搜索引擎

如果你的站点不想被某个特定引擎收录，可以单独给它写一条规则：

User-agent: Bingbot
Disallow: /

这样设置后，其他爬虫的抓取策略完全不受影响。注意爬虫名称要写准确，比如 Googlebot、Baiduspider 和 Sogou 蜘蛛各不相同，写错名称规则就不会生效，建议到各搜索引擎的官方文档里核对名称写法。

2.3 只保留后台目录可访问

有些工具型站点希望爬虫只进入特定目录，其他路径全部阻止。这时可以这样配置：

User-agent: *
Disallow: /
Allow: /public/

这种写法存在风险：如果爬虫不支持 Allow，那么 /public/ 也会被封锁。稳妥的做法是逐条列出需要禁用的具体路径，而不是先禁止全部再开放个别目录。例如：

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/

这样写既能保护敏感路径，又不会误伤需要被收录的页面。

3. 配置陷阱与避坑建议

很多网站在 robots.txt 上栽过跟头，大多是因为以下几个原因：

• 大小写与路径不匹配：robots.txt 是区分大小写的。如果你的目录实际是 /MyFiles/，写成 /myfiles/ 就会失效。
• 误用通配符：部分爬虫支持 * 和 $ 符号，但并非所有引擎都认可。在写复杂规则前，先确认目标爬虫对通配符的支持程度。
• 忽略抓取额度：大型站点如果把大量无价值页面留在可抓取范围内，会浪费爬虫的预算。建议定期审阅访问日志，找出高频抓取但无排名的 URL，并考虑屏蔽。

还有一点值得注意：robots.txt 只是礼貌性的协议，并非强制措施。恶意或非正规爬虫不一定遵守，因此真正的敏感内容还应配合密码或防火墙保护，不能只依赖 robots.txt。

4. 测试与验证方法

写好 robots.txt 后，不能想当然地认为规则生效了。推荐做以下几步验证：

1. 在浏览器直接访问 https://yourdomain.com/robots.txt，确认内容能正常显示且编码无乱码。
2. 使用各搜索引擎站长平台的抓取测试工具，输入想验证的 URL，查看抓取结果是否符合预期。
3. 检查服务器日志，确认目标爬虫是否真的停止了请求被禁用的路径。
4. 每隔一段时间复查一次，因为站点结构调整后，原有的规则可能变得不再合适。

如果发现规则没生效，优先排查文件名拼写、文件位置和 User-agent 名称是否准确。很多时候问题就出在这些细节上。

5. 常见问题

5.1 robots.txt 影响网站加载速度吗

不影响。robots.txt 本身只是一个极小的文本文件，只被爬虫读取，对普通用户访问页面完全没有影响。它不会增加页面体积或拖慢服务器响应。

5.2 许爬虫抓取后台目录会有什么后果

后台目录如果被收录，可能泄露内部结构、API 接口地址甚至是未发布的敏感信息。更严重的是，攻击者可能利用这些暴露的路径尝试入侵。因此，后台目录应当明确禁止抓取，并配合用户验证机制。

5.3 robots.txt 与 sitemap.xml 有什么关系和区别

robots.txt 是告诉爬虫哪些不能抓，sitemap.xml 是告诉爬虫有哪些重要 URL 可以抓。两者功能互补，同时配置效果最佳。robots.txt 中可以声明 sitemap 的路径，方便爬虫更快发现地图文件。

6. 总结

robots.txt 虽小，却在搜索抓取中扮演重要角色。配置时建议遵循三个原则：一是指令写准确，User-agent 和路径都要仔细核对；二是按实际场景选用模板，避免"禁止全部再开放个别"这类高风险写法；三是时刻记住它只是协议而非屏障，敏感内容还需要其他手段保护。如果当前配置长期未变，正好借此机会检查一遍，确认它依然符合站点的最新需求。