首页 > Scrapy中的USER_AGENT问题

Scrapy中的USER_AGENT问题

默认是这样的:


有些文章是把它改成类似这样:

USER_AGENT = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1'

问题:
改和不改有什么区别?


USER_AGENT 提供了用户用什么操作系统(包括版本号)浏览器(包括版本号)

如果被爬的网站防爬虫, 或者只支持一些版本的浏览器(比如不支持IE7)之类的 USER_AGENT肯定是该了好


一个是库自身带的头信息,一个是模拟浏览器头,最好改为浏览器的。

【热门文章】
【热门文章】