Scrapy request 增长太快，有什么好方法消化它们？

用Scrapy爬取知乎或微博的用户信息，主要是根据关注链一直抓下去。
每抓取一个页面，提取出用户信息，然后获得关注者和被关注者列表，产生新的request放入队列，这样每抓取一个用户信息，就会产生几百个甚至上千个新的请求，所以request列表增长太快来不及消化。有什么好的解决方案吗？

---

建议redis