爬虫是用的Webmagic的爬虫,想要爬取的网站有gizp的压缩,要怎么去解决这个问题?
webmagic/webmagic-core/src/main/java/us/codecraft/webmagic/Site.java中有个变量useGzip
,用于设置是否启用gzip,默认为true,你可以修改为默认false。
爬虫是用的Webmagic的爬虫,想要爬取的网站有gizp的压缩,要怎么去解决这个问题?
webmagic/webmagic-core/src/main/java/us/codecraft/webmagic/Site.java中有个变量useGzip
,用于设置是否启用gzip,默认为true,你可以修改为默认false。