首页 > Scrapy并没有循环callback是怎么回事?

Scrapy并没有循环callback是怎么回事?

在get_level2_topics这里并没有循环,不知道哪里出了问题,怎么就跳出了,我在get_level1_topics测试过,可以看到所有的topic_id都有输出。
不知哪里出了问题,请指教!

代码如下:

def get_level1_topics(self, response):
    # 计数
    count = 0
    # print topic_ids
    for u in urls:
        yield scrapy.Request(
                 url=self.zhihu_topics_url + u,
                 headers=headers,
                 meta={
                     "proxy": proxy,
                     "cookiejar": response.meta["cookiejar"],
                     # 传递参数topic_id
                     "topic_id": topic_ids[count],
                 },
                 callback=self.get_level2_topics
                 )
        count +=1
        
def get_level2_topics(self, response):
    print response.meta['topic_id']

可能你urls为空,所以不会执行到yield

【热门文章】
【热门文章】