默认是这样的:
有些文章是把它改成类似这样:
USER_AGENT = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1'
问题:
改和不改有什么区别?
USER_AGENT 提供了用户用什么操作系统(包括版本号)浏览器(包括版本号)
如果被爬的网站防爬虫, 或者只支持一些版本的浏览器(比如不支持IE7)之类的 USER_AGENT肯定是该了好
一个是库自身带的头信息,一个是模拟浏览器头,最好改为浏览器的。