Robots.txt 生成器
输入站点地图 URL，即可复制现成的 robots.txt 内容。文件允许所有用户代理访问全部路径，并附上 Sitemap 行，方便爬虫找到索引。
更新 2026-08-03 · seo
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap-index.xml
关于本工具
只需填写一个 Sitemap URL。生成内容固定为 User-agent: *、Allow: /、空行，以及 Sitemap: 加上你的地址。修改输入后预览立即更新。
使用方法
- 打开生成器: 打开页面，看到「Sitemap URL」字段。
- 输入站点地图地址: 粘贴 sitemap 或 sitemap-index 的 URL（示例为 https://example.com/sitemap-index.xml）。
- 复制 robots.txt: 选中含 User-agent、Allow 与 Sitemap 的结果块。
- 部署文件: 保存为站点根目录的 robots.txt，并用 HTTPS 确认可访问。
常见用途
- 为希望被完整抓取的新站快速准备 robots.txt。
- 一次粘贴指向 sitemap-index.xml 或 sitemap.xml。
- 先交给主机部署起步文件，稍后再手写更细的 Disallow。
使用提示
- 请使用完整绝对地址（https://…），不要用相对路径。
- 此模板允许一切——若有私密目录，复制后再手动加 Disallow。
常见问题
输出包含哪些规则？
User-agent: *、Allow: /，以及带你 URL 的 Sitemap 行。
能在界面里屏蔽路径吗？
不能——生成器是宽松起步模板；复制后自行编辑 Disallow。
站点地图必须已经存在吗？
工具只负责格式化文件；真正托管 sitemap 仍由你负责。
URL 会发到服务器吗？
robots.txt 字符串在浏览器里随输入生成。