首页 > 爬虫爬取网页遇到gizp压缩过的网站怎么解决?

爬虫爬取网页遇到gizp压缩过的网站怎么解决?

爬虫是用的Webmagic的爬虫,想要爬取的网站有gizp的压缩,要怎么去解决这个问题?


webmagic/webmagic-core/src/main/java/us/codecraft/webmagic/Site.java中有个变量useGzip,用于设置是否启用gzip,默认为true,你可以修改为默认false。

【热门文章】
【热门文章】