抓取预算与站点的响应速度直接相关。服务器响应越快,同样时间窗口内蜘蛛能抓取的页面越多。

把首字节时间控制在 200 毫秒以内,通常能显著提升大站的抓取覆盖率。