robots.txt 是网站根目录下的一个纯文本文件,用于告诉搜索引擎爬虫哪些页面可以抓取、哪些页面应当避免。它是 Robots 协议(也称为爬虫协议)的载体,几乎所有主流搜索引擎都会在抓取前先读取该文件。正确配置 robots.txt 是网站技术 SEO 的基础工作,直接影响索引效率与内容安全。
文件由若干条记录组成,每条记录以 User-agent 开头,指定目标爬虫,例如 User-agent: * 表示所有爬虫。随后使用 Allow 和 Disallow 声明允许或禁止抓取的路径。常用规则如下:
robots.txt 常用于屏蔽后台管理目录、搜索结果页、临时测试页面以及重复内容较多的参数页面,从而减少无效抓取、节省服务器资源。同时,它也可以配合 Sitemap 指令,帮助搜索引擎更高效地发现重要页面。
需要强调的是,robots.txt 不能阻止页面被外部链接引用或被人为访问,它只是爬虫的自律约定,不适合用于保护敏感数据。若要禁止索引已收录页面,应结合 noindex 元标签或 HTTP 响应头。此外,不同爬虫对通配符和规则优先级的支持存在差异,建议保持规则简洁,并通过搜索引擎站长工具验证抓取效果。
总之,合理的 robots.txt 能在抓取效率与内容安全之间取得平衡,是每个网站上线前都应检查的关键文件。