关于此工具
Robots 排除标准(Robots Exclusion Protocol,RFC 9309,通常存为网站根目录下的 `robots.txt`)是网站站长向搜索引擎网络蜘蛛(如 Googlebot、Bingbot、Baiduspider)表达爬取权限规范的行业基石协议。通过合理配置 robots.txt,您可以命令爬虫跳过后台管理目录、禁止索引内部敏感文件、控制抓取抓取频率并明确声明站点地图(Sitemap)索引地址,保护服务器免受恶意高频爬取压力并优化 SEO 抓取预算(Crawl Budget)。本工具提供可视化纯前端配置与标准 robots.txt 一键生成。
如何使用本工具(操作步骤)
配置全局或指定爬虫规则
选择针对所有搜索引擎爬虫(`User-agent: *`)或单独为 Googlebot、Bingbot、百度蜘蛛配置差异化爬取准则。
添加允许(Allow)与禁止(Disallow)路径
填入需要禁止抓取的目录(如 `/admin/`、`/api/`)以及需要特别放行的子路径(如 `/api/docs/`),支持通配符通配。
声明站点地图并一键复制或下载
填入您的 XML 站点地图完整网址(如 `https://example.com/sitemap.xml`),右侧即刻渲染标准文件,点击一键下载保存。
严格遵循 IETF RFC 9309 国际标准规范
全面支持最新的路径最长前缀匹配规则、通配符(`*`)与行尾结束符(`$`),确保各大国际主流爬虫 100% 精确理解。
支持 XML Sitemap 索引多地址聚合声明
支持同时声明多个语言分片站点地图或总索引文件,引导搜索引擎爬虫以最高效率发现并索引全站所有新上线页面。
纯本地离线生成,网站目录架构绝无外泄
所有文本拼接在浏览器本地执行,公司内部管理后台路径、未公开接口目录等保密架构绝对不发送至外网。
robots.txt 编写大忌与抓取预算优化避坑指南
- •robots.txt 绝不是“密码锁”,严禁用于隐藏绝密链接:robots.txt 是全网任何人都可以直接在浏览器输入 `/robots.txt` 公开查看的明文文件。在里面写上 `Disallow: /secret-admin-login/` 相当于直接告诉黑客后台在哪里!保密页面应通过身份鉴权(HTTP 401/403)保护。
- •Disallow(禁止抓取)不等于 Noindex(禁止收录):被 robots.txt 禁止抓取的页面,如果外部有其他网站链接指向它,Google 依然会将其标题和 URL 收录进搜索库中(只是无法读取页面内容)。要想彻底不收录,必须使用 `<meta name="noindex">` 标签!
- •禁止封锁 CSS 和 JavaScript 静态资源:很多新手错误地写了 `Disallow: /_next/` 或 `Disallow: /static/`。现代 Googlebot 需要完整加载 CSS 和 JS 来模拟真实用户渲染页面。封锁静态资源会导致页面被 Google 判定为“移动端排版崩溃”而大幅降低排名!
代码与转换对比示例
现代标准内容网站推荐 robots.txt 模板对照
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /*?*sort=
# 明确声明站点地图地址
Sitemap: https://example.com/sitemap.xml• User-agent: * : 适用于所有搜索引擎蜘蛛
• Allow: / : 允许抓取整站所有公开页面
• Disallow: /admin/ : 禁止抓取管理后台
• /*?*sort= : 利用通配符禁止抓取带排序参数的重复页面
• Sitemap: : 告诉爬虫地图所在绝对路径* `robots.txt` 必须放置在网站的根目录,且文件名必须为全小写 `robots.txt`。
极端场景:禁止所有爬虫抓取(测试开发环境标配)
User-agent: *
Disallow: /切勿将此配置错误部署到正式生产环境!一个斜杠 Disallow: / 会导致全站所有页面在一周内被 Google、百度全部清空移出搜索结果!* 上线前务必检查生产环境 robots.txt 是否放行了根目录 `Allow: /`。
常见问题解答
Q: robots.txt 文件必须放在什么位置?
A: 必须严格存放在域名的最根路径下:`https://example.com/robots.txt`。放在子目录下(如 `example.com/blog/robots.txt`)爬虫是完全不会读取并彻底忽略的。
Q: 如果网站根本没有 robots.txt 文件会怎么样?
A: 如果爬虫请求 `/robots.txt` 返回了 404 Not Found,爬虫会默认判定为:“该网站没有任何限制,允许抓取全站所有公开页面”。这不会导致惩罚,但配置一个规范的 robots.txt 更有利于指明 Sitemap 提升收录效率。
Q: 所有爬虫都一定会严格遵守 robots.txt 吗?
A: 主流合规搜索引擎(Google、Bing、Baidu、搜狗)会 100% 严格遵守该协议;但网络上恶意的扫描爬虫、垃圾数据采集器和黑客脚本会故意忽略该文件。防范恶意盗刷必须依赖服务器防火墙(WAF)与 IP 频率限制。