首页 > pyspider 模拟翻页

pyspider 模拟翻页

最近开始学,遇到很多网站的数据翻页都是js控制的,有没有这方面的例子,请大家给个。比如拉钩网怎么翻页


这里有一个点击 more 的例子 http://blog.binux.me/2015/01/pyspider-tutorial-level-3-render-with-phantomjs/

但是需要注意的是:

  1. pyspider 解析的最小单位是一个页面,当你翻到第 n 页之后,n-1 页的内容就没有了。你需要为每一页单独分别创建任务,保证每个单页都能解析。

  2. 你需要找到一种办法直接翻到第 n 页,而不是从第一页一直翻到第 n 页,那会超时的。

【热门文章】
【热门文章】