首页 > python爬虫的时候有些网站不允许直接对图片进行访问,那如何直接用python下载整个网页(包括图片)?

python爬虫的时候有些网站不允许直接对图片进行访问,那如何直接用python下载整个网页(包括图片)?

如果不限制图片访问的话下面这样就行了,但是如果限制的话就不行了。
另外不太明白浏览器请求图片的过程,应该也是先得到文本再去单独请求每一张图片的吧,是不是请求时携带的信息起了作用?

import requests
...

r=requests.get("url",headers=hearders)
f=open('tmp.jpg','wb')
for chunk in r.iter_content(chunk_size=1024):
    f.write(chunk)
    f.flush()
f.close()

一般都是来路判断,在请求http中增加 http_referrer = 图片所在域名

【热门文章】
【热门文章】