首页 > Python的多线程是伪命题吗?

Python的多线程是伪命题吗?

我向别人讨教,在scrapy中使用多线程提高抓取效率的问题,有人回复我说,这涉及Python全局解释器锁(GIL)的问题,我搜索了一下,发现GIL限制Python同一时间只能有一个线程运行。如果是这样的话,那threading库的存在是怎么回事?那多线程爬虫到底存在不存在?


确切来说:GIL 限制 Python 同一时间只能有一个线程持有 GIL。

通常在进入一些不需要 Python 解释器的 C 代码之前,库程序会/应显式释放 GIL:

cPy_BEGIN_ALLOW_THREADS
// ... Do some blocking I/O operation ...
Py_END_ALLOW_THREADS

因此回答问题:

  1. threading 库仍然是有效的多线程,只不过在执行基于 Python 解释器的 CPU 集中的操作时,不要指望它(CPython)能充分利用多核 CPU(其他尝试);
  2. 存在的,Python 多线程可以实现并行抓取(I/O 集中),但无法用作 Python 多核并行处理(CPU 集中)。

明显不是,你好好看看官方的文档


因为爬虫程序90%的时间是在等啊

【热门文章】
【热门文章】