数据安全提示： 所有规则验证均在您的浏览器本地完成，不会上传任何robots内容。
Robots.txt 生成器 & 验证器
实时语法检查
操作模式:
常用模板:
当前模式：编辑/验证 · 输入robots规则
Robots.txt 内容
插入指令:
① 通用规则
② 搜索引擎特定
③ 额外指令
语法验证 & 诊断
等待验证...点击“验证语法”或编辑后等待检查
搜索引擎抓取模拟
User-agent:
抓取路径:
指令统计
User-agent 条目: 0
Disallow 规则: 0
Allow 规则: 0
Sitemap 声明: 0
其他指令: 0
📋 示例规则:
🤖 robots.txt 标准
Robots.txt 是存放于网站根目录的文本文件，用于告知搜索引擎爬虫哪些页面可以抓取。主要指令包括：
User-agent: 指定爬虫
Disallow: 禁止访问
Allow: 允许访问
Sitemap: 站点地图
Crawl-delay: 抓取延迟
Host: 首选域名
📄 robots.txt 范例
# 禁止所有爬虫访问整个网站
User-agent: *
Disallow: /
# 允许所有 (空Disallow或Allow:/)
User-agent: *
Allow: /
# 指定Googlebot禁止/admin，但允许/public
User-agent: Googlebot
Disallow: /admin/
Allow: /public/
Sitemap: https://example.com/sitemap.xml
User-agent: *
Disallow: /
# 允许所有 (空Disallow或Allow:/)
User-agent: *
Allow: /
# 指定Googlebot禁止/admin，但允许/public
User-agent: Googlebot
Disallow: /admin/
Allow: /public/
Sitemap: https://example.com/sitemap.xml