免费Robots.txt生成器 - 搜索引擎抓取控制
在线配置爬虫标识、路径抓取规则和Sitemap地址，生成可复制或下载的robots.txt文件，辅助管理遵循规则的爬虫访问。
设置全局抓取策略、限制目录和网站地图
每个路径之前都要包含"/"，留空为无限制
国内搜索引擎
国外搜索引擎
特殊搜索引擎(机器人)
AI搜索引擎
配置与文件生成在浏览器中完成。robots.txt通常公开可访问，请勿在规则中填写密钥或其他敏感信息。
robots.txt 预览
请将以下结果保存到记事本,命名为robots.txt上传到网站根目录
Robots.txt生成器使用说明
设置抓取规则并生成robots.txt文件，使用前核对路径及目标爬虫支持的指令。
基础配置
填写需要限制抓取的路径、Sitemap地址和可选抓取间隔。私有页面仍需服务端访问权限保护，不能仅依赖robots.txt。
爬虫抓取规则
分别配置不同User-Agent的抓取规则。只有遵循robots.txt协议且支持相应语法的爬虫才会按规则处理。
生成上传
生成后可复制或下载文件，部署到对应站点的根路径，再验证文件可访问且规则符合预期。
Robots.txt生成器功能
通过表单整理抓取规则，减少手工编写robots.txt时的格式输入工作。
多种爬虫标识
提供多种搜索引擎和机器人标识，便于分别配置规则。使用前请核对目标爬虫的当前标识与指令支持情况。
按路径设置规则
支持全局及单独爬虫规则设置，便于按路径管理抓取范围；它不是对所有访问者生效的权限控制。
规则文本生成
生成User-agent、Disallow和Sitemap等规则文本。不同爬虫的支持范围可能不同，部署前应检查实际解释结果。
浏览器内生成
配置在浏览器中生成文件。上传后的robots.txt可被公开读取，不应包含需要保密的路径说明或访问凭据。
即时预览生成
查看生成文本并复制或下载，上传后检查根路径下的robots.txt是否可以访问。
操作简单便捷
通过表单填写规则，无需手工拼写每一行指令；仍需理解路径范围，避免误拦需要抓取的页面资源。
Robots.txt生成器常见问题
了解robots.txt的作用、限制及部署方式，区分抓取规则与访问权限。
robots.txt文件有什么作用？
robots.txt向遵循规则的爬虫说明抓取范围，不能保护私有内容，也不能保证URL不出现在搜索结果中。私有内容应设置访问权限；索引控制需另行配置并验证。
如何正确设置限制目录？
路径应以“/”开头，可每行填写一个。请按实际抓取需求选择范围，避免误拦必要的样式、脚本或内容页面，也不要将路径限制当作后台访问保护。
Sitemap应该如何配置？
填写可访问的网站地图完整地址，如https://example.com/sitemap.xml，向爬虫提供URL发现线索。没有Sitemap时可以留空，提交也不保证页面被收录。
检索间隔Crawl-delay有必要设置吗？
Crawl-delay为部分爬虫支持的抓取间隔指令，通常以秒计。Google不支持该指令，设置前应查看目标爬虫文档，不应依赖它统一限制所有请求。
不同搜索引擎设置有什么区别？
可针对不同User-Agent配置规则，以表达不同抓取范围。是否遵守取决于爬虫实现，拒绝恶意访问仍需网站侧的安全控制。
生成的robots.txt如何使用？
将文件保存为robots.txt并部署到站点根路径，例如https://example.com/robots.txt。协议、主机名及端口不同的站点需分别核对规则范围，部署后验证内容。
