robots.txt规则详解：语法、优先级与常见配置误区

📍 WDQWDWQD987AAAAA:216.73.217.58
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /be148836395a.html
📄

robots.txt规则是网站与搜索引擎爬虫之间沟通的基础协议。正确理解并配置这些规则，能有效控制抓取范围，避免敏感页面被索引，同时提升爬虫效率。本文将从语法、优先级和常见误区三个层面展开说明。

一、robots.txt规则的基本语法

robots.txt文件位于网站根目录，由若干条记录组成。每条记录以User-agent开头，指定规则适用的爬虫；随后使用Allow和Disallow定义允许或禁止抓取的路径。例如：

路径支持通配符*和结尾锚点$，但不同爬虫支持程度略有差异，建议保持规则简洁。

二、规则的优先级与匹配逻辑

当多条规则冲突时，搜索引擎通常遵循最长匹配优先原则：路径越长、越具体的规则生效。例如同时存在Disallow: /private/和Allow: /private/test.html，后者会覆盖前者。此外，User-agent越具体优先级越高，针对特定爬虫的规则会覆盖通配符规则。注意：robots.txt规则只约束爬虫抓取，不能阻止页面被其他方式收录。

三、常见配置误区

  1. 误用Disallow屏蔽整站：Disallow: / 会阻止所有抓取，导致网站从搜索结果中消失。
  2. 忽略大小写：路径区分大小写，/Admin/与/admin/不同。
  3. 规则过于宽泛：如Disallow: /*.php$可能误伤正常页面。
  4. 依赖robots.txt保护隐私：该文件公开可读，敏感信息应使用密码或noindex。

定期使用搜索引擎的robots.txt测试工具验证规则，并结合站点地图提交，才能让robots.txt规则发挥最大价值。

图1 图2
nginx