可视化生成 robots.txt
常见值:* / Googlebot / Bingbot
放到站点根目录 /robots.txt。Disallow 为空行表示允许全部抓取。
所有处理都在你的浏览器本地完成,数据不会上传到服务器。