首页 > 抓取图片时如何判断图片已经下载完毕了

抓取图片时如何判断图片已经下载完毕了

  1. 初学 Python,通过尝试抓取网页内容来当突破口。

  2. 目前的方法是:

    1. 从列表页获取页内所有的详情页地址;

    2. 从详情页地址中获取所有的图片地址,并以详情页 url 的最后一段作为文件夹的名称;

    3. 每个图片地址起一个线程,拿到图片内容并存下来,用 url 的最后一段作为文件名;

    4. 环境是 win10 + python3,用到的库主要是 PyQuery、requests,抓的是 lofter 的网页。

  3. 目前遇到的问题是:下载下来的图片很可能只有一半,上半截是图片,下半截是红蓝绿交替

  4. 尝试过每抓一张图片就 sleep2 秒钟,并没有效果。

  5. 想请问有啥办法判断图片是否下载完成么?我现在想到的一个办法是根据图片大小来判断,但是召回和准确难以兼顾。


http response头域里头有Content-Length 根据这个判断是否和下载下来的大小一样 ,这个可以解决上面正常下面交替或者白板的问题,但是解决不了左右错误问题。左右错位问题有人用图像识别去做

【热门文章】
【热门文章】