爬虫访问很多，不等于重要页面被有效发现。在一组匿名电商样本中，大约四分之三的已验证请求进入了带参数地址，或返回非二百状态；只有四分之一进入干净地址并返回二百。按每千次爬虫请求计算，类目和列表页带来的点击约为商品详情页的二十倍，但它们的日均抓取量反而下降。先拆分请求类型，再比较页面价值，修掉持续制造无效地址的入口，最后按同一批页面复测。抓取预算要优化的是分配，不是总量。