首页 > python网页爬虫的多线程

python网页爬虫的多线程

python3.4用threading模块做多线程并发式的爬虫,开始启动十个线程都是好的,爬到最后的时候只剩下主线程存活。也就是爬到后面的时候只有一个线程活动。中间会有异常存在,捕获了并且抛出了异常,这些异常是否会导致子线程锁死?如果会,怎么解决线程在锁死的情况下重启继续执行。还有就是有哪些原因会导致最后只剩下一个线程活动?


话说我也遇到了这个问题,最后爬的特别慢,应该是只剩一个了


建议你找一些开源的爬虫程序参考下


你看一下卡在哪里了,你这么点信息,别人也帮不到你


是不是一些共享资源的锁的问题

【热门文章】
【热门文章】