robots.txt 是什么?网站优化必备的爬虫协议指南

📍 WDQWDWQD987AAAAA:216.73.217.100
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /51d393026504.html
📄

robots.txt 是网站根目录下的一个纯文本文件,用于告诉搜索引擎爬虫哪些页面可以抓取、哪些页面应当避免。它是 Robots 协议(也称为爬虫协议)的载体,几乎所有主流搜索引擎都会在抓取前先读取该文件。正确配置 robots.txt 是网站技术 SEO 的基础工作,直接影响索引效率与内容安全。

robots.txt 的基本语法

文件由若干条记录组成,每条记录以 User-agent 开头,指定目标爬虫,例如 User-agent: * 表示所有爬虫。随后使用 Allow 和 Disallow 声明允许或禁止抓取的路径。常用规则如下:

常见使用场景

robots.txt 常用于屏蔽后台管理目录、搜索结果页、临时测试页面以及重复内容较多的参数页面,从而减少无效抓取、节省服务器资源。同时,它也可以配合 Sitemap 指令,帮助搜索引擎更高效地发现重要页面。

配置注意事项

需要强调的是,robots.txt 不能阻止页面被外部链接引用或被人为访问,它只是爬虫的自律约定,不适合用于保护敏感数据。若要禁止索引已收录页面,应结合 noindex 元标签或 HTTP 响应头。此外,不同爬虫对通配符和规则优先级的支持存在差异,建议保持规则简洁,并通过搜索引擎站长工具验证抓取效果。

总之,合理的 robots.txt 能在抓取效率与内容安全之间取得平衡,是每个网站上线前都应检查的关键文件。

图1 图2

nginx