在get_level2_topics这里并没有循环,不知道哪里出了问题,怎么就跳出了,我在get_level1_topics测试过,可以看到所有的topic_id都有输出。
不知哪里出了问题,请指教!
问题:
get_level1_topics 循环-> get_level2_topics(并没有循环)
代码如下:
def get_level1_topics(self, response):
# 计数
count = 0
# print topic_ids
for u in urls:
yield scrapy.Request(
url=self.zhihu_topics_url + u,
headers=headers,
meta={
"proxy": proxy,
"cookiejar": response.meta["cookiejar"],
# 传递参数topic_id
"topic_id": topic_ids[count],
},
callback=self.get_level2_topics
)
count +=1
def get_level2_topics(self, response):
print response.meta['topic_id']
可能你urls为空,所以不会执行到yield