robots.txt 生成器

robots.txt 是什么？

robots.txt 是放在网站根目录的一个文本文件，告诉搜索引擎爬虫哪些页面可以抓取，哪些不可以。所有主流搜索引擎都会遵守这个协议。

文件生成后，把内容保存为 robots.txt 上传到你网站根目录即可（即通过 https://你的域名/robots.txt 能访问到）。