robots.txt 放在站点根目录，用于告诉爬虫哪些路径可以抓取。

常见误区是用它来隐藏敏感页面——被 Disallow 的 URL 仍可能因外链被索引，真正需要保护的内容应当用权限控制。