robot txt 是什么？robots.txt 基础写法与 SEO 配置指南

📍 WDQWDWQD987AAAAA:216.73.216.152
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /bce47485468d.html
📄

robot txt（通常写作 robots.txt）是网站根目录下的纯文本协议文件，用来告诉搜索引擎爬虫哪些页面可以抓取、哪些应当忽略。它虽然不直接提升排名，却会影响抓取效率和索引范围，是 SEO 基础配置中不可忽视的一环。

robots.txt 的基本结构

文件由若干条记录组成，每条记录以 User-agent 开头，后面跟随 Allow 或 Disallow 规则。最基础的写法如下：

• User-agent: * 表示对所有爬虫生效
• Disallow: /admin/ 表示禁止抓取后台目录
• Allow: / 表示允许抓取其余内容
• Sitemap: 用于声明站点地图地址

常见配置误区

很多站长误以为在 robots.txt 中禁止某个页面，就能把它从搜索结果中移除。实际上，被禁止抓取的 URL 仍可能因外部链接而被索引，只是缺少摘要。若希望页面不出现，应配合 noindex 元标签或 HTTP 头使用。

另一个误区是直接写 Disallow: / 屏蔽整站。这会让搜索引擎无法读取任何内容，对 SEO 伤害极大，通常只应在测试环境或临时维护时使用。

配置建议

1. 将 robots.txt 放在域名根目录，确保可通过 https://example.com/robots.txt 访问。
2. 只屏蔽无需索引的目录，如后台、购物车、搜索结果页。
3. 避免屏蔽 CSS、JS 等渲染资源，以免影响页面质量评估。
4. 在文件中声明 Sitemap，便于爬虫发现重要页面。
5. 上线后用搜索引擎的抓取测试工具验证规则是否生效。

robot txt 只是一份抓取建议而非强制指令，合理配置能减少无效抓取、集中权重，让搜索引擎更高效地发现和收录真正有价值的页面。