首页 > 爬虫r如何重复提交表单数据

爬虫r如何重复提交表单数据

比如说一个用户名和密码再加上验证码是没有问题的。
逻辑是这样的:

def start_requests(self):
    yield request(indexUrl, headers, callback=self.downloadPic)
def downloadPic(self, response):
    获取cookies,带上cookies来下载图片
    yield request(picUrl, headers, callback=self.handlePic)
def handlePic(self, response):
    # 识别验证码
    # 用户名和密码和验证码放到formdata里
    yield FormRequest(postUrl, formdata, headers, callback=self.parse)

但是我现在有很多个用户名和密码(假设存在本地),我想重复N次这样的过程,就改变提交的用户名和密码,请问怎么做?
我尝试过直接用for循环来取,作为self.name和self.password, 然后直接yield首页,像上面走得流程一样,但不行,不知道是不是异步搞得验证码的URL老是在变化。


我是这样解决的,既然这个爬虫爬单个没有问题,那么干嘛还要在这个爬虫文件里面获取输入的数据呢?我直接用个脚本来获取输入数据,然后再调用这个爬虫不就行了吗?刚好数据和工具又分开,不用全部堆在一起弄得太复杂。
It works!
顺便一提,给scrapy传入额外的参数是这样的

【热门文章】
【热门文章】