T工具箱
🤖

robots.txt 生成

可视化生成 robots.txt

关于此工具

Robots 排除标准(Robots Exclusion Protocol,RFC 9309,通常存为网站根目录下的 `robots.txt`)是网站站长向搜索引擎网络蜘蛛(如 Googlebot、Bingbot、Baiduspider)表达爬取权限规范的行业基石协议。通过合理配置 robots.txt,您可以命令爬虫跳过后台管理目录、禁止索引内部敏感文件、控制抓取抓取频率并明确声明站点地图(Sitemap)索引地址,保护服务器免受恶意高频爬取压力并优化 SEO 抓取预算(Crawl Budget)。本工具提供可视化纯前端配置与标准 robots.txt 一键生成。

如何使用本工具(操作步骤)

1

配置全局或指定爬虫规则

选择针对所有搜索引擎爬虫(`User-agent: *`)或单独为 Googlebot、Bingbot、百度蜘蛛配置差异化爬取准则。

2

添加允许(Allow)与禁止(Disallow)路径

填入需要禁止抓取的目录(如 `/admin/`、`/api/`)以及需要特别放行的子路径(如 `/api/docs/`),支持通配符通配。

3

声明站点地图并一键复制或下载

填入您的 XML 站点地图完整网址(如 `https://example.com/sitemap.xml`),右侧即刻渲染标准文件,点击一键下载保存。

严格遵循 IETF RFC 9309 国际标准规范

全面支持最新的路径最长前缀匹配规则、通配符(`*`)与行尾结束符(`$`),确保各大国际主流爬虫 100% 精确理解。

支持 XML Sitemap 索引多地址聚合声明

支持同时声明多个语言分片站点地图或总索引文件,引导搜索引擎爬虫以最高效率发现并索引全站所有新上线页面。

纯本地离线生成,网站目录架构绝无外泄

所有文本拼接在浏览器本地执行,公司内部管理后台路径、未公开接口目录等保密架构绝对不发送至外网。

robots.txt 编写大忌与抓取预算优化避坑指南

  • •robots.txt 绝不是“密码锁”,严禁用于隐藏绝密链接:robots.txt 是全网任何人都可以直接在浏览器输入 `/robots.txt` 公开查看的明文文件。在里面写上 `Disallow: /secret-admin-login/` 相当于直接告诉黑客后台在哪里!保密页面应通过身份鉴权(HTTP 401/403)保护。
  • •Disallow(禁止抓取)不等于 Noindex(禁止收录):被 robots.txt 禁止抓取的页面,如果外部有其他网站链接指向它,Google 依然会将其标题和 URL 收录进搜索库中(只是无法读取页面内容)。要想彻底不收录,必须使用 `<meta name="noindex">` 标签!
  • •禁止封锁 CSS 和 JavaScript 静态资源:很多新手错误地写了 `Disallow: /_next/` 或 `Disallow: /static/`。现代 Googlebot 需要完整加载 CSS 和 JS 来模拟真实用户渲染页面。封锁静态资源会导致页面被 Google 判定为“移动端排版崩溃”而大幅降低排名!

代码与转换对比示例

现代标准内容网站推荐 robots.txt 模板对照

标准安全配置模板
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /*?*sort=

# 明确声明站点地图地址
Sitemap: https://example.com/sitemap.xml
各规则实际生效逻辑
• User-agent: * : 适用于所有搜索引擎蜘蛛
• Allow: /       : 允许抓取整站所有公开页面
• Disallow: /admin/ : 禁止抓取管理后台
• /*?*sort=     : 利用通配符禁止抓取带排序参数的重复页面
• Sitemap:      : 告诉爬虫地图所在绝对路径

* `robots.txt` 必须放置在网站的根目录,且文件名必须为全小写 `robots.txt`。

极端场景:禁止所有爬虫抓取(测试开发环境标配)

测试站全面防收录配置
User-agent: *
Disallow: /
重要预警
切勿将此配置错误部署到正式生产环境!一个斜杠 Disallow: / 会导致全站所有页面在一周内被 Google、百度全部清空移出搜索结果!

* 上线前务必检查生产环境 robots.txt 是否放行了根目录 `Allow: /`。

常见问题解答

Q: robots.txt 文件必须放在什么位置?

A: 必须严格存放在域名的最根路径下:`https://example.com/robots.txt`。放在子目录下(如 `example.com/blog/robots.txt`)爬虫是完全不会读取并彻底忽略的。

Q: 如果网站根本没有 robots.txt 文件会怎么样?

A: 如果爬虫请求 `/robots.txt` 返回了 404 Not Found,爬虫会默认判定为:“该网站没有任何限制,允许抓取全站所有公开页面”。这不会导致惩罚,但配置一个规范的 robots.txt 更有利于指明 Sitemap 提升收录效率。

Q: 所有爬虫都一定会严格遵守 robots.txt 吗?

A: 主流合规搜索引擎(Google、Bing、Baidu、搜狗)会 100% 严格遵守该协议;但网络上恶意的扫描爬虫、垃圾数据采集器和黑客脚本会故意忽略该文件。防范恶意盗刷必须依赖服务器防火墙(WAF)与 IP 频率限制。

相关推荐工具

所有处理都在你的浏览器本地完成,数据不会上传到服务器。
/