首页 > python requests抓取一定量后速度变慢

python requests抓取一定量后速度变慢

前3分钟可以达到每秒10个请求,后面就慢下来了,慢到每秒1个。有没有哪位大神有着方面的经验。


没有代码很难找到问题,
以我的经验,大部分爬虫慢的问题都是因为内存,建议你看一下werkzeug.utils里面cached_property的代码。

【热门文章】
【热门文章】